高可用集群作業(yè)管理系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著科技的發(fā)展和企業(yè)規(guī)模的擴(kuò)大，越來越多的企業(yè)使用計(jì)算機(jī)處理常規(guī)化的作業(yè)任務(wù)，而單獨(dú)使用某一臺(tái)高性能的機(jī)器已經(jīng)不能滿足日漸增多的業(yè)務(wù)，也存在擴(kuò)展性差，無法保證高可用性以及性價(jià)比不高的問題，采用大量普通服務(wù)器組成的服務(wù)器集群已經(jīng)是解決此問題的普遍方式。采用高速網(wǎng)絡(luò)連接大量普通計(jì)算機(jī)構(gòu)建的計(jì)算機(jī)集群具有成本低，性能高，批處理能力和并行計(jì)算能力很強(qiáng)的特點(diǎn)，因此，得到了快速發(fā)展和普遍應(yīng)用。但是由于集群個(gè)體間的差異性，集群統(tǒng)一的資源管理，作業(yè)調(diào)度

2、，集群監(jiān)控，集群負(fù)載均衡等問題也成為使用集群處理作業(yè)需解決的首要問題，這促使了集群作業(yè)管理系統(tǒng)的產(chǎn)生。
　　本文首先對項(xiàng)目背景進(jìn)行深入的研究，充分挖掘本項(xiàng)目所構(gòu)建的高可用集群作業(yè)管理系統(tǒng)需要滿足的條件，然后對國內(nèi)外典型的集群作業(yè)管理系統(tǒng)和調(diào)度算法進(jìn)行了相關(guān)研究，分析每一種算法的優(yōu)缺點(diǎn)。在此基礎(chǔ)上，本論文以開源集群管理系統(tǒng)Torque為基礎(chǔ)，改進(jìn)其作業(yè)調(diào)度算法，構(gòu)建同時(shí)支持及時(shí)作業(yè)和定時(shí)作業(yè)的高可用集群作業(yè)管理系統(tǒng)。本論文主要工作如

3、下：
　　1.針對項(xiàng)目需求特點(diǎn)，引入面向?qū)ο笾小袄^承”的思想，利用“作業(yè)模板”和“執(zhí)行態(tài)”解決同類場景細(xì)節(jié)不同問題，簡化系統(tǒng)設(shè)計(jì)，同時(shí)也為用戶提供更簡潔方便的頁面操作。
　　2.利用穩(wěn)定的Haproxy+Keepalived組合，構(gòu)建支持高可用和負(fù)載均衡的集群作業(yè)管理系統(tǒng)。為提高系統(tǒng)的高可用性，避免單點(diǎn)故障，同時(shí)能應(yīng)對高并發(fā)的作業(yè)請求，本系統(tǒng)采用成熟穩(wěn)定的Haproxy+Keepalived組合，同時(shí)采用N+1冗余備份，構(gòu)建

4、支持高可用和負(fù)載均衡的集群作業(yè)管理系統(tǒng)。
　　3.改進(jìn)Torque系統(tǒng)薄弱的作業(yè)調(diào)度策略，提高系統(tǒng)性能。本論文重點(diǎn)研究開源集群管理系統(tǒng)Torque，分析其重要的數(shù)據(jù)結(jié)構(gòu)以及作業(yè)調(diào)度模塊的具體執(zhí)行步驟，利用開源集群管理系統(tǒng)Torque構(gòu)建本項(xiàng)目需要的集群作業(yè)管理系統(tǒng)，為改善Torque在作業(yè)調(diào)度方面的弱項(xiàng)，提出一種新的下次最小隊(duì)列相對負(fù)載調(diào)度算法來替換Torque本身比較薄弱的作業(yè)調(diào)度算法，并改進(jìn)其先來先服務(wù)的作業(yè)選擇策略，避免大作

5、業(yè)對調(diào)度進(jìn)程的阻塞，提高集群資源利用率和系統(tǒng)吞吐量。
　　4.借鑒cron定時(shí)表達(dá)式，支持定時(shí)作業(yè)。為支持定時(shí)作業(yè)，本論文系統(tǒng)借鑒Linux系統(tǒng)自帶的定時(shí)任務(wù)cron表達(dá)式規(guī)則，實(shí)時(shí)監(jiān)測定時(shí)作業(yè)，對于時(shí)間到達(dá)的定時(shí)作業(yè)投入到改進(jìn)的Torque中處理，使得系統(tǒng)同時(shí)支持普通作業(yè)和定時(shí)作業(yè)。
　　本文針對集群作業(yè)管理系統(tǒng)所作的研究和優(yōu)化工作，有效地提高了集群管理系統(tǒng)的作業(yè)調(diào)度效率和集群資源利用率，同時(shí)可縮短用戶的作業(yè)響應(yīng)時(shí)間，具有