多集群系統(tǒng)中作業(yè)管理的研究與實(shí)現(xiàn).pdf

1、隨著分布計(jì)算技術(shù)的發(fā)展，并行處理系統(tǒng)已經(jīng)從單一的、獨(dú)立的集群過渡到了合作的、互聯(lián)的分布式系統(tǒng)，多集群系統(tǒng)的作用日益突現(xiàn)。多集群系統(tǒng)的基本任務(wù)是為用戶提供一個(gè)統(tǒng)一的共享集群計(jì)算資源的環(huán)境，使用戶提交的作業(yè)根據(jù)計(jì)算需求可以在多個(gè)集群之間進(jìn)行優(yōu)化調(diào)度，充分利用計(jì)算資源。 在多集群系統(tǒng)中，如何對(duì)作業(yè)進(jìn)行合理調(diào)度，充分利用軟硬件資源對(duì)于多集群系統(tǒng)性能的發(fā)揮和集群的推廣應(yīng)用具有舉足輕重的意義。目前作業(yè)管理系統(tǒng)大多針對(duì)單一的集群系統(tǒng)，對(duì)于集群

2、內(nèi)部的作業(yè)調(diào)度研究比較深入，但是對(duì)于多集群范圍內(nèi)作業(yè)管理的研究卻剛剛開始。由于計(jì)算資源的分布性、異構(gòu)性、自治性等特點(diǎn)，使得多集群環(huán)境下的作業(yè)管理面臨巨大的挑戰(zhàn)。 本文系統(tǒng)而深入地研究了多集群系統(tǒng)中的作業(yè)管理問題，探討了多集群系統(tǒng)的特征，設(shè)計(jì)并實(shí)現(xiàn)了多集群作業(yè)管理系統(tǒng)。在此過程中，本文主要完成了以下工作：1)在對(duì)典型作業(yè)管理系統(tǒng)深入分析的基礎(chǔ)上，結(jié)合多集群系統(tǒng)的環(huán)境特點(diǎn)，提出了多集群作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)，對(duì)各功能模塊進(jìn)行了詳細(xì)的

3、分析和設(shè)計(jì)，基于該體系結(jié)構(gòu)以及上海大學(xué)自強(qiáng)系列集群環(huán)境，實(shí)現(xiàn)了一個(gè)多集群作業(yè)管理系統(tǒng)。2)具體闡述了現(xiàn)有作業(yè)調(diào)度算法對(duì)多集群系統(tǒng)支持的不足，并根據(jù)負(fù)載平衡相關(guān)技術(shù)以及一些影響和制約系統(tǒng)并行效能的關(guān)鍵因素，指出了動(dòng)態(tài)負(fù)載平衡策略在多集群環(huán)境下應(yīng)用的缺陷，提出并實(shí)現(xiàn)了一個(gè)多集群環(huán)境下的靜態(tài)集中式負(fù)載平衡算法。3)在上海大學(xué)多集群環(huán)境下，使用MPI并行作業(yè)對(duì)系統(tǒng)進(jìn)行了測(cè)試和評(píng)價(jià)，并給出了benchmark基準(zhǔn)對(duì)本系統(tǒng)的測(cè)試結(jié)果，結(jié)果顯示該作業(yè)