面向PC環(huán)境的網(wǎng)絡(luò)體系與關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)和計(jì)算機(jī)軟硬件技術(shù)不斷發(fā)展，各種計(jì)算資源(桌面計(jì)算機(jī)、工作站、超級計(jì)算機(jī)、集群等)、存儲(chǔ)資源和網(wǎng)絡(luò)資源的價(jià)格不斷下降，推動(dòng)了網(wǎng)格計(jì)算技術(shù)的迅速發(fā)展。一直以來，網(wǎng)格領(lǐng)域的研究主要集中在如何利用高性能的計(jì)算資源(如Beowulf集群、工作站、超級計(jì)算機(jī)等)、科學(xué)儀器和巨量存儲(chǔ)資源，來構(gòu)建滿足在科學(xué)研究和工程應(yīng)用領(lǐng)域大規(guī)模計(jì)算需要的各種網(wǎng)格。本文致力于研究如何通過隨處可以獲得的個(gè)人計(jì)算機(jī)PC來實(shí)現(xiàn)網(wǎng)格計(jì)算，它的意義在于可以充分利用

2、隨處可得的、大量閑置的PC，借助它們所蘊(yùn)藏的巨大處理能力，以一種低成本的方式實(shí)現(xiàn)同樣高性能的計(jì)算環(huán)境。 PC網(wǎng)格不同于高性能的網(wǎng)格環(huán)境，它一般由分布在不同地方的大量PC節(jié)點(diǎn)根據(jù)特定任務(wù)目標(biāo)自愿組織而成，具有高度的動(dòng)態(tài)性和自主性。這給網(wǎng)格的系統(tǒng)架構(gòu)，資源管理和任務(wù)調(diào)度，以及任務(wù)監(jiān)控等帶來了挑戰(zhàn)。目前一些基于因特網(wǎng)的網(wǎng)格應(yīng)用項(xiàng)目，如SETI@Home、FightAIDS@Home、GIMPS等都采取了簡單的方式將PC松散聚集起來解決

3、特定領(lǐng)域的計(jì)算問題。目前還沒有一種通用的面向PC環(huán)境的網(wǎng)格體系以及相關(guān)的平臺(tái)系統(tǒng)，用于構(gòu)建可滿足不同應(yīng)用需要的PC網(wǎng)格。為了推動(dòng)PC網(wǎng)格的廣泛應(yīng)用，仍有許多技術(shù)問題需要解決。 為此，本論文首先為PC網(wǎng)格提出了一種三層結(jié)構(gòu)的網(wǎng)格體系PGrid，它由Agent控制層、通信基礎(chǔ)設(shè)施層和核心服務(wù)層構(gòu)成。其中，Agent控制層由駐留在各PC節(jié)點(diǎn)上的Agent構(gòu)成，它們提供一個(gè)虛擬的任務(wù)執(zhí)行和控制環(huán)境。通信基礎(chǔ)設(shè)施層屏蔽PC節(jié)點(diǎn)的位置、平臺(tái)

4、異構(gòu)性和底層通信細(xì)節(jié)，為上層應(yīng)用同Agent的連接與動(dòng)態(tài)交互提供簡單的接口。核心服務(wù)層為用戶提供網(wǎng)格服務(wù)，包括任務(wù)提交、分派、監(jiān)控和最后結(jié)果的匯總，不同的網(wǎng)格應(yīng)用可以在這一層提供不同的服務(wù)。PGrid體系滿足了實(shí)現(xiàn)簡單、支持大規(guī)模部署的要求，同時(shí)考慮了可擴(kuò)展性、健壯性和靈活性，與現(xiàn)在許多PC網(wǎng)格應(yīng)用項(xiàng)目所采取的兩層體系相比具有先進(jìn)性。圍繞該體系，我們對PC網(wǎng)格所涉及的若干關(guān)鍵技術(shù)進(jìn)行了研究。 我們?yōu)橥ㄐ呕A(chǔ)設(shè)施層提出和實(shí)現(xiàn)了一種

5、服務(wù)請求代理中間件SRB。它提供了一種消息交換設(shè)施，即代理服務(wù)器集群，以支持PC網(wǎng)格環(huán)境中用戶與PC節(jié)點(diǎn)之間的消息交互。SRB不關(guān)心用戶服務(wù)請求的內(nèi)容，而只負(fù)責(zé)將其轉(zhuǎn)交到合適的服務(wù)實(shí)例。因此基于SRB，因而我們既可以按照服務(wù)的方式構(gòu)建網(wǎng)格，即PC節(jié)點(diǎn)提供任務(wù)邏輯，用戶提供數(shù)據(jù)；也可以實(shí)現(xiàn)按照任務(wù)的方式構(gòu)建網(wǎng)格，即用戶提供任務(wù)邏輯和數(shù)據(jù)，PC節(jié)點(diǎn)負(fù)責(zé)任務(wù)程序的執(zhí)行。SRB有效屏蔽了PC網(wǎng)格內(nèi)部各節(jié)點(diǎn)物理位置、平臺(tái)差異以及通信的細(xì)節(jié)，為PC

6、網(wǎng)格的實(shí)現(xiàn)帶來了靈活性。 在Agent控制層，我們提出了PC節(jié)點(diǎn)性能預(yù)測機(jī)制用于Agent在線學(xué)習(xí)并預(yù)測PC節(jié)點(diǎn)的運(yùn)行規(guī)律，從而實(shí)現(xiàn)積極主動(dòng)的任務(wù)調(diào)度。其中我們提出了一種混合在線預(yù)測模型，用于實(shí)現(xiàn)Agent在沒有充分掌握PC節(jié)點(diǎn)運(yùn)行規(guī)律的情況下，仍然能夠較為轉(zhuǎn)確地預(yù)測PC節(jié)點(diǎn)短期內(nèi)的性能變化。而對于離線學(xué)習(xí)，我們提出了使用自回歸建模和神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，在Agent掌握了大量觀測數(shù)據(jù)樣本的基礎(chǔ)上，對PC節(jié)點(diǎn)的運(yùn)行規(guī)律進(jìn)行學(xué)習(xí)和

7、分析。 針對Agent控制層的資源協(xié)商與交易，我們提出了基于BDI多智能體系統(tǒng)的資源交易模型。該模型最重要的兩個(gè)活動(dòng)實(shí)體為用戶智能主體和資源智能主體，用戶智能主體代表向PC網(wǎng)格提交任務(wù)的用戶，而資源智能主體代表了PC網(wǎng)格中的資源，它們之間根據(jù)各自的利益目標(biāo)在一個(gè)市場環(huán)境中進(jìn)行協(xié)商與合作，最終實(shí)現(xiàn)任務(wù)與資源的合理匹配，以及供求關(guān)系的平衡。我們給出了這兩種主體各自的信念(Belief)、期望(Desire)和意圖(Intention

8、)定義，并給出了一個(gè)具體場景描述基于這種BDI模型，兩種主體各自如何思考并采取動(dòng)作。同時(shí)我們還對網(wǎng)格資源的商品模型進(jìn)行了研究，提出了能夠適應(yīng)市場供求關(guān)系變化而動(dòng)態(tài)調(diào)整價(jià)格的機(jī)制。 最后我們?yōu)楹诵姆?wù)層提出了一種統(tǒng)一的面向PC網(wǎng)格環(huán)境的MonitorView網(wǎng)格監(jiān)控體系。這個(gè)體系由三部分組成：一個(gè)是統(tǒng)一消息框架，用于規(guī)范PC網(wǎng)格中在管理終端與Agent控制層之間交換的消息；另一個(gè)是面向應(yīng)用的Manager-Agent管理協(xié)議，它是