分布式流體系結(jié)構(gòu)DSAR關(guān)鍵技術(shù)研究.pdf

1、近年來，以大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等為代表的互聯(lián)網(wǎng)新興技術(shù)已經(jīng)成為國際社會普遍關(guān)注的熱點，在金融、軍事、科研、通信、醫(yī)療等領(lǐng)域都引起了人們的高度重視。目前，主流大數(shù)據(jù)、云計算等運行環(huán)境通常部署在互聯(lián)網(wǎng)數(shù)據(jù)中心IDC（Internet data center）上統(tǒng)一向用戶提供服務(wù)，依托IDC提供計算服務(wù)已經(jīng)成為重要的技術(shù)手段。然而，當(dāng)前數(shù)據(jù)中心存在著成本高昂、資源規(guī)模有限、功耗巨大等問題，在滿足未來社會對計算需求的普遍增長上存在

2、挑戰(zhàn)。與此同時，人們周圍廣泛分布著豐富空閑的異構(gòu)動態(tài)資源，因此，可以考慮利用這些資源構(gòu)建高效、可靠、低成本的分布式計算環(huán)境，這對于構(gòu)建未來社會的泛在計算網(wǎng)絡(luò)環(huán)境具有重要意義。
　　隨著信息社會的快速發(fā)展，人們要在異構(gòu)動態(tài)網(wǎng)絡(luò)上提供分布式計算環(huán)境至少面臨著網(wǎng)絡(luò)資源三個方面的基本挑戰(zhàn)：網(wǎng)絡(luò)資源的異構(gòu)性、網(wǎng)絡(luò)資源的動態(tài)性、網(wǎng)絡(luò)通信延遲及有限帶寬等。然而，目前云計算、網(wǎng)格計算、P2P計算等有影響力的主流分布式計算模型針對上述挑戰(zhàn)都存在一定

3、的不足。
　　鑒于近年來流計算體系結(jié)構(gòu)的廣泛興起，本文深入分析了流計算模型的特性，認為其具有計算資源普適性、延遲計算綁定特性、高度數(shù)據(jù)并行性與多層次并行性等，具有應(yīng)對異構(gòu)動態(tài)網(wǎng)絡(luò)挑戰(zhàn)的潛力，并首次基于傳統(tǒng)的流計算模型提出了一種新型的分布式流體系結(jié)構(gòu)。針對異構(gòu)動態(tài)網(wǎng)絡(luò)環(huán)境下的分布式計算問題，本文分別從計算模型、編程模型、資源管理與性能優(yōu)化技術(shù)、容錯技術(shù)等四個方面展開研究，其主要工作與創(chuàng)新點體現(xiàn)在：
　　1.提出了分布式流體系結(jié)

4、構(gòu)（第二章）本文深入分析后認為傳統(tǒng)的流計算模型具有計算資源普適性、延遲計算綁定特性、高度數(shù)據(jù)并行性、多層次并行性等特點，對于解決異構(gòu)動態(tài)網(wǎng)絡(luò)下的分布式計算模型問題具有較大潛力。因此，本文首次面向異構(gòu)動態(tài)網(wǎng)絡(luò)環(huán)境提出了一種新型的分布式流體系結(jié)構(gòu)，將流計算模型推廣到分布式計算環(huán)境中，構(gòu)建了分布式流體系結(jié)構(gòu)的基本概念，并設(shè)計了其軟件棧以支持分布式流處理過程。同時，本文基于Kahn過程網(wǎng)絡(luò)建立了分布式流計算模型，采用CCS進程代數(shù)進行了語義分析

5、。研究人員可以基于分布式流體系結(jié)構(gòu)面向異構(gòu)動態(tài)網(wǎng)絡(luò)構(gòu)建高效、可靠、低成本的分布式計算環(huán)境。
　　2.提出了分布式流體系結(jié)構(gòu)編程模型（第三章）本文針對傳統(tǒng)流編程語言的不足，在分布式流體系結(jié)構(gòu)基礎(chǔ)上提出了新型的分布式流編程模型Brook＃，以解決在異構(gòu)動態(tài)網(wǎng)絡(luò)上應(yīng)用程序的編程模型問題。接著，本文深入剖析了Brook＃編譯器及其運行時的相關(guān)技術(shù)，如維護數(shù)據(jù)一致性的中間列表法、Brook＃編譯指導(dǎo)語句等，并深入分析了四種 Kernel執(zhí)行

6、模式及其實現(xiàn)機制?；谛滦偷?Brook＃編程模型，研究人員可以把注意力集中在應(yīng)用程序的性能開發(fā)上，尤其是多層次并行性，而無需關(guān)心資源異構(gòu)性、動態(tài)任務(wù)綁定與動態(tài)負載均衡等底層細節(jié)。實驗結(jié)果表明，分布式流編程模型Brook＃能有效提高應(yīng)用程序的執(zhí)行性能，充分開發(fā)分布式環(huán)境下應(yīng)用程序的潛在并行性。
　　3.提出了分布式流體系結(jié)構(gòu)資源管理、性能模型與優(yōu)化技術(shù)（第四章）本文針對異構(gòu)動態(tài)網(wǎng)絡(luò)上大規(guī)模資源管理與調(diào)度問題，設(shè)計了以主從架構(gòu)與兩級

7、資源調(diào)度模型為核心的分布式流體系結(jié)構(gòu)資源管理系統(tǒng)。同時，本文進一步分析了四種Kernel執(zhí)行模式下應(yīng)用程序的性能模型，以其為基礎(chǔ)構(gòu)建了分布式流體系結(jié)構(gòu)的性能模型，并分析指出其性能瓶頸與性能優(yōu)化原則，最后提出了兩種性能優(yōu)化技術(shù)，即數(shù)據(jù)流Eager傳輸技術(shù)與計算核心前瞻執(zhí)行技術(shù)。實驗結(jié)果驗證了分布式流體系結(jié)構(gòu)資源管理技術(shù)的有效性，同時表明提出的兩種優(yōu)化技術(shù)可以有效加速應(yīng)用執(zhí)行，降低程序執(zhí)行開銷。
　　4.提出了分布式流體系結(jié)構(gòu)容錯技術(shù)

8、（第五章）本文分析認為隨著商用器件的廣泛使用、計算系統(tǒng)規(guī)模的持續(xù)擴大與異構(gòu)系統(tǒng)的迅速興起，分布式流體系結(jié)構(gòu)面臨著可靠性的嚴(yán)峻挑戰(zhàn)。本文首先分析了分布式流體系結(jié)構(gòu)的結(jié)點故障模型與常見錯誤類型。接著，本文針對運行流級程序結(jié)點故障所引起的不易察覺的軟錯誤，結(jié)合分布式流體系結(jié)構(gòu)應(yīng)用程序的特點，引入了容錯程序段以有效控制錯誤傳播范圍與靈活設(shè)置容錯粒度，并提出了一種高效低成本的多副本容錯方法TREFT，其基于網(wǎng)絡(luò)閑置資源利用三個程序副本同時進行檢錯