異構(gòu)分布計算系統(tǒng)可靠性分析及優(yōu)化方法研究.pdf

1、隨著大規(guī)?？茖W(xué)計算應(yīng)用的普及以及并行數(shù)據(jù)處理規(guī)模的不斷增大，以網(wǎng)格和并行計算為基礎(chǔ)的分布計算系統(tǒng)已成為信息技術(shù)和通信技術(shù)的重要發(fā)展方向，尤其是通過互聯(lián)網(wǎng)絡(luò)將大量廉價、處理能力和可靠性等都相互異構(gòu)的計算單元進行連接所構(gòu)成的數(shù)據(jù)存儲和計算平臺受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。異構(gòu)分布計算平臺也成為中國戰(zhàn)略性新興產(chǎn)業(yè)的重要組成部分，其中系統(tǒng)性能和可靠性優(yōu)化問題已成為國內(nèi)外研究的熱點。但是系統(tǒng)和應(yīng)用規(guī)模逐漸增大的同時，并行應(yīng)用對系統(tǒng)長期可靠運行的時

2、間需求也越來越高。此外，由于異構(gòu)系統(tǒng)下計算資源的動態(tài)加入和退出，并行應(yīng)用程序輸入?yún)?shù)的變化以及異構(gòu)系統(tǒng)環(huán)境等因素將引起并行應(yīng)用程序的執(zhí)行出現(xiàn)不確定性和不可控性等安全威脅。因此，各并行任務(wù)能否可靠地運行是評價分布計算系統(tǒng)優(yōu)劣的關(guān)鍵指標之一。尤其當異構(gòu)分布計算系統(tǒng)在時間和空間維度存在關(guān)聯(lián)失效背景下，如何分析系統(tǒng)可靠性以及通過任務(wù)調(diào)度對并行應(yīng)用程序執(zhí)行過程的可靠性進行優(yōu)化等問題。
　　本研究主要內(nèi)容包括：⑴擴展現(xiàn)有分布計算系統(tǒng)可靠性分析

3、方法，提出關(guān)聯(lián)失效模式下異構(gòu)分布計算系統(tǒng)可靠性評估方法。目前的異構(gòu)分布計算系統(tǒng)存在大規(guī)模資源共享、廣域通信以及多資源合作，而很多傳統(tǒng)可靠性分析方法都建立在計算資源間的失效是相互獨立的假設(shè)基礎(chǔ)之上，沒有考慮計算資源在時間和空間維度上可能存在的關(guān)聯(lián)失效，尤其隨著納米級大規(guī)模集成電路的快速發(fā)展，高能電磁輻射引起計算節(jié)點關(guān)聯(lián)失效的概率越來越大。根據(jù)分布計算系統(tǒng)資源的失效特征建立系統(tǒng)失效模型，提出關(guān)聯(lián)失效模式下基于泰勒展開式的計算系統(tǒng)可靠性度量方

4、法，并從系統(tǒng)結(jié)構(gòu)角度分析共因失效對系統(tǒng)可靠性的影響程度，通過仿真實驗驗證影響系統(tǒng)可靠度和平均無故障時間的主要因素。在此基礎(chǔ)上，進一步提出冗余系統(tǒng)和靜態(tài)失效系統(tǒng)可靠性分析方法，并通過仿真實驗驗證算法的性能和有效性。⑵針對資源存在異構(gòu)性、動態(tài)性和廣域分布性等特點的大規(guī)模分布計算系統(tǒng)，提出基于任務(wù)期望執(zhí)行時間和可靠性開銷的表調(diào)度算法。分析任意架構(gòu)網(wǎng)絡(luò)模型(APN)下關(guān)聯(lián)任務(wù)之間最可靠通信鏈路的選擇問題，并提出考慮可靠性開銷的最優(yōu)路徑選擇算法(

5、OCPR)。在此基礎(chǔ)上通過添加具有預(yù)測功能的分布計算節(jié)點選擇策略，以及考慮系統(tǒng)異構(gòu)性和可靠性開銷的任務(wù)優(yōu)先級計算方法，設(shè)計分布計算系統(tǒng)環(huán)境下可靠性驅(qū)動的任務(wù)調(diào)度算法(RDLS)。仿真實驗結(jié)果表明所提算法在相同時間復(fù)雜度條件下，相對于經(jīng)典的HEFT和RASD算法具有更優(yōu)的調(diào)度性能和可靠性指標。⑶針對實際分布計算系統(tǒng)運行過程中所收集的開源失效數(shù)據(jù)集FTA，從時間和空間角度對計算資源的關(guān)聯(lián)失效進行建模，其中空間角度又分為物理空間關(guān)聯(lián)失效和邏輯

6、空間關(guān)聯(lián)失效兩種失效模型，并利用馬爾科夫隨機場和Gibbs分布之間存在的等價理論對所提出的關(guān)聯(lián)失效模型進行理論分析和形式化建模。對關(guān)聯(lián)失效進行建模的目的是將分布計算系統(tǒng)內(nèi)的節(jié)點進行關(guān)聯(lián)組劃分，每個組內(nèi)的計算節(jié)點具有強關(guān)聯(lián)性，從而為選擇冗余節(jié)點來提高任務(wù)執(zhí)行可靠性提供依據(jù)，避免選擇同一關(guān)聯(lián)失效組內(nèi)的多個計算節(jié)點作為同一任務(wù)的副本計算節(jié)點。通過理論分析和實驗驗證了所提關(guān)聯(lián)失效模型的有效性和可行性。⑷針對計算資源存在關(guān)聯(lián)失效的分布計算系統(tǒng)和具

7、有截止時間約束的并行DAG應(yīng)用程序，提出基于任務(wù)截止時間劃分的關(guān)鍵路徑模型和子任務(wù)截止時間分配算法(SDA)。在此基礎(chǔ)上，進一步提出基于可靠性驅(qū)動的貪心任務(wù)復(fù)制算法(RDGD)和基于費用驅(qū)動的任務(wù)復(fù)制算法(CDD)，在選擇復(fù)本資源進行任務(wù)分配以提高應(yīng)用程序執(zhí)行可靠性時，避免同一個子任務(wù)分配給具有關(guān)聯(lián)失效特性的計算節(jié)點集合內(nèi)的多個節(jié)點，以最大化子任務(wù)執(zhí)行結(jié)果的可靠性。實驗結(jié)果顯示基于截止時間劃分的關(guān)鍵路徑和基于不同目標的可靠性優(yōu)化調(diào)度算法