大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的研究與實(shí)現(xiàn)——具有P2P特性的作業(yè)管理系統(tǒng).pdf

1、近年來(lái)，隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，基于對(duì)等結(jié)構(gòu)(Peer-to-Peer，P2P)的大規(guī)模分布式系統(tǒng)迅速發(fā)展起來(lái)，成為占用Internet帶寬最大的網(wǎng)絡(luò)應(yīng)用。越來(lái)越多的個(gè)人計(jì)算機(jī)通過(guò)有線網(wǎng)絡(luò)或無(wú)線網(wǎng)絡(luò)連接到一起。在這樣一個(gè)高度網(wǎng)絡(luò)化的時(shí)代，如何有效地利用這些分散的資源，如何保證服務(wù)的質(zhì)量，如何實(shí)現(xiàn)“網(wǎng)絡(luò)就是計(jì)算機(jī)”的目標(biāo)，已經(jīng)成為下一代互聯(lián)網(wǎng)的重要研究課題。將大規(guī)模、高度動(dòng)態(tài)、高度異構(gòu)的各種計(jì)算結(jié)點(diǎn)組織到一起，提供高可擴(kuò)展性、高有

2、效性、高性能的互助服務(wù)是P2P技術(shù)研究的基礎(chǔ)課題，而基于P2P技術(shù)的上層應(yīng)用也相應(yīng)地大量產(chǎn)生，目前主要集中在簡(jiǎn)單易用的永久存儲(chǔ)系統(tǒng)和即時(shí)消息系統(tǒng)以及多人協(xié)作系統(tǒng)。本文對(duì)P2P技術(shù)在作業(yè)管理上的應(yīng)用進(jìn)行研究和實(shí)現(xiàn)。 本論文由一個(gè)國(guó)際合作項(xiàng)目資助，該項(xiàng)目采用分階段實(shí)施的方式，目前已經(jīng)歷了三個(gè)階段。第一階段是研制客戶(hù)/服務(wù)器體系結(jié)構(gòu)的作業(yè)管理系統(tǒng)－JC原型：第二階段旨在實(shí)現(xiàn)集群異構(gòu)系統(tǒng)支持和高可用性；第三階段則是在廣域網(wǎng)及Intern

3、et上探索JC系統(tǒng)的資源共享技術(shù)。作者的研究?jī)?nèi)容主要集中在第二和第三階段，目前項(xiàng)目已基本通過(guò)驗(yàn)收。 本文以項(xiàng)目第一階段完成的作業(yè)管理系統(tǒng)JC為應(yīng)用對(duì)象，系統(tǒng)地研究了大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的理論與方法。通過(guò)對(duì)集群和P2P技術(shù)的深入研究，并將它們?nèi)谌氲降淖鳂I(yè)管理系統(tǒng)中，實(shí)現(xiàn)了可調(diào)度的多層集群的過(guò)程化作業(yè)網(wǎng)絡(luò)模型，以及基于P2P網(wǎng)絡(luò)路由協(xié)議PHB的作業(yè)管理系統(tǒng)Peer-JC。 論文中的主要工作和創(chuàng)新點(diǎn)如下： 1

4、．研究并建立了作業(yè)管理系統(tǒng)中的集群管理體系將網(wǎng)絡(luò)結(jié)點(diǎn)按照層次的觀點(diǎn)分為超級(jí)結(jié)點(diǎn)、服務(wù)結(jié)點(diǎn)和客戶(hù)結(jié)點(diǎn)。有效地將高度動(dòng)態(tài)、高度異構(gòu)的各種結(jié)點(diǎn)組織到一起。結(jié)點(diǎn)的高度動(dòng)態(tài)、高度異構(gòu)既反映了結(jié)點(diǎn)的計(jì)算能力、內(nèi)存大小、連接帶寬、網(wǎng)絡(luò)滯留時(shí)間等能力的不同，也表明結(jié)點(diǎn)的使用目的不同。 2．提出并實(shí)現(xiàn)了可調(diào)度的多層集群的過(guò)程化作業(yè)網(wǎng)絡(luò)模型首先提出了可調(diào)度的過(guò)程化作業(yè)網(wǎng)絡(luò)概念，然后在其基礎(chǔ)上提出了“全局調(diào)度一靜態(tài)調(diào)度－動(dòng)態(tài)調(diào)度”的三層負(fù)載平衡調(diào)度模

5、型。該模型適用于大規(guī)模、高度動(dòng)態(tài)、高度異構(gòu)的網(wǎng)絡(luò)。 第一階段實(shí)現(xiàn)全局調(diào)度，即在PHB(Prefix Hybrid)覆蓋網(wǎng)上進(jìn)行調(diào)度；第二階段將作業(yè)網(wǎng)絡(luò)進(jìn)行解析和調(diào)度，即在對(duì)等的機(jī)器列表中進(jìn)行調(diào)度，稱(chēng)靜態(tài)調(diào)度。根據(jù)作業(yè)網(wǎng)絡(luò)，作者提出了一個(gè)基于作業(yè)網(wǎng)絡(luò)DAGfDirectedAcyclic Graph)模型的靜態(tài)調(diào)度算法，該算法是對(duì)動(dòng)態(tài)負(fù)載平衡算法的擴(kuò)展，用于作業(yè)網(wǎng)絡(luò)的靜態(tài)負(fù)載平衡；第三階段將作業(yè)進(jìn)行在機(jī)器組間的調(diào)度，也稱(chēng)動(dòng)態(tài)調(diào)度。

6、 3．研究并提出了適于作業(yè)管理的P2P的網(wǎng)絡(luò)協(xié)議在結(jié)點(diǎn)三層結(jié)構(gòu)上，基于結(jié)構(gòu)化覆蓋網(wǎng)及分布式哈希表DHT，提出了具有前綴特征碼匹配特性的混合P2P網(wǎng)絡(luò)路由協(xié)議PHB，將高度異構(gòu)的各種計(jì)算結(jié)點(diǎn)組織到一起。本文給出了PHB的詳細(xì)構(gòu)造方法，并論證了PHB的路由算法在3跳內(nèi)可完成。 4．研究并建立了基于P2P技術(shù)的大規(guī)模作業(yè)管理系統(tǒng)Peer-JC將作業(yè)管理系統(tǒng)架構(gòu)在P2P覆蓋網(wǎng)上，設(shè)計(jì)和實(shí)現(xiàn)了具有P2P特性的Peer-JC系統(tǒng)，使

7、其適用于大規(guī)模分布式環(huán)境?？沙浞掷酶叨葎?dòng)態(tài)、高度異構(gòu)的網(wǎng)絡(luò)邊緣資源并提供更廣泛的服務(wù)。 5．研究并設(shè)計(jì)了Peer-JC系統(tǒng)的高可用性作者在分析當(dāng)前集群技術(shù)的基礎(chǔ)上，提出了高可用性作業(yè)管理系統(tǒng)的實(shí)現(xiàn)模型。根據(jù)該模型，作業(yè)管理系統(tǒng)作為虛擬服務(wù)運(yùn)行在高可用性集群上；一旦出現(xiàn)故障，可以透明地進(jìn)行故障轉(zhuǎn)移。當(dāng)故障消失時(shí)，可以進(jìn)行故障恢復(fù)，能保證作業(yè)運(yùn)行的連續(xù)性和可用性。并且按照該模型，給出了在MSCS集群上具體的實(shí)現(xiàn)方案。 6．