異構(gòu)集群作業(yè)管理調(diào)度平臺的設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)并不是一個突然出現(xiàn)在生活中的新奇概念，特別是如果僅僅從3V(Volume/Variety/Velocity)特性來看的話。然而受制于從前記錄信息的載體（甲骨、玉版、鐘鼎、簡帛、紙質(zhì)、磁帶）以及對信息分析處理的方式（受限于信息載體，只能是個體大腦的思考，分析和總結(jié)或者小規(guī)模群體的討論，思考，分析和總結(jié)）的先進(jìn)程度，人類從沒有像我們現(xiàn)在這樣如此強烈地感受到來自大數(shù)據(jù)的對生活方方面面的影響。
　　直到上世紀(jì)60、70年代，信息記錄

2、的電子化，PC的出現(xiàn)，互聯(lián)網(wǎng)的出現(xiàn)，再到最近幾年存儲載體硬盤和性能強大的PC的大幅降價，互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的極大完善，才使得“大數(shù)據(jù)”從極少數(shù)特定領(lǐng)域的科研機構(gòu)、行業(yè)巨頭進(jìn)入普通人們的生活。
　　使用“大數(shù)據(jù)”的硬件條件已經(jīng)成熟，然而當(dāng)真切嘗試將“大數(shù)據(jù)”應(yīng)用到實際迫切需要的業(yè)務(wù)上的時候，依然面臨一個尷尬的境地:
　　1.集群是“大數(shù)據(jù)”事務(wù)處理的唯一承載體，于是我們還需一套系統(tǒng)來幫助我們處理這些頭疼的問題:集群軟硬件計算資源的

3、高效管理調(diào)度、集群的安全機制、目標(biāo)事務(wù)的作業(yè)化、作業(yè)的并行化、作業(yè)的高效管理調(diào)度、工作流引擎、與作業(yè)的實時交互、處理集群節(jié)點的平臺差異。
　　2.雖然我們有諸如:OpenPBS TORQUE，UNICORE，Sun Grid Engine，CONDOR, LSF, LOADLEVELER這樣眾多出眾的集群系統(tǒng)或者作業(yè)調(diào)度系統(tǒng)，但是要么價格不菲，要么針對特定平臺，要么針對特定性質(zhì)應(yīng)用，要么僅支持Unix/Linux架構(gòu)平臺下的集群異

4、構(gòu)，沒有真正免費的“異構(gòu)”集群作業(yè)調(diào)度管理系統(tǒng)。
　　本文正是以上述情境為背景，圍繞“異構(gòu)集群作業(yè)管理調(diào)度系統(tǒng)”這個主題，闡述一個“異構(gòu)(Unix/Linux，Windows)集群作業(yè)調(diào)度系統(tǒng)-HATSUNE”的設(shè)計與實現(xiàn)。
　　論文的主要工作包括:
　　1.通過研究，分析UNICORE的多子集群管理架構(gòu)，工作流引擎架構(gòu)，設(shè)計HATSUNE的架構(gòu)，以期達(dá)到不用用兩套系統(tǒng)（子集群間的管理系統(tǒng)，子集群內(nèi)的管理系統(tǒng)）來實現(xiàn)異

5、構(gòu)集群節(jié)點資源的監(jiān)控，管理及其作業(yè)的調(diào)度管理。測試結(jié)果顯示，這一架構(gòu)是可行的，并且極大程度為集群管理者帶來了便利。
　　2.通過研究、分析開源的OpenPBS TORQUE的核心源碼，學(xué)習(xí)Unix/Linux下的通用集群作業(yè)調(diào)度系統(tǒng)的設(shè)計，作業(yè)調(diào)度器的設(shè)計以及用戶與作業(yè)實時交互方式的設(shè)計。
　　3.HATSUNE的架構(gòu)設(shè)計，包括以下九個層次/模塊:Server主進(jìn)程、作業(yè)調(diào)度器、節(jié)點/作業(yè)用戶Server控制臺、Unix/L