面向異構(gòu)多核系統(tǒng)的并行計(jì)算模型和調(diào)度算法研究.pdf

1、隨著異構(gòu)多核并行編程的難度不斷增大，人們迫切希望并行編程模型可以處理并能生成超大規(guī)模(TB級(jí))數(shù)據(jù)集，以減少并行編程難度，提高異構(gòu)多核系統(tǒng)開發(fā)速度。
　　MapReduce是近些年新興的并行編程模型，該模型主要用于實(shí)現(xiàn)并行計(jì)算中子任務(wù)劃分、資源的調(diào)度、計(jì)算結(jié)構(gòu)歸約等，其為異構(gòu)并行系統(tǒng)的大規(guī)模數(shù)據(jù)處理提供一個(gè)簡(jiǎn)單、有效的解決方案。然而傳統(tǒng)的MapReduce調(diào)度算法存在任務(wù)響應(yīng)時(shí)間過長，系統(tǒng)吞吐量大幅度下降的情況，從而影響整個(gè)系統(tǒng)的

2、效率的提高。本文在對(duì)MapRedace并行編程模型深入研究的基礎(chǔ)上，提出了一種適應(yīng)于Hadoop平臺(tái)的異構(gòu)多核的MapReduce調(diào)度改進(jìn)算法。主要工作如下：
　　(1)針對(duì)MapReduce模型的調(diào)度問題，研究了影響MapReduce調(diào)度性能的三個(gè)主要因素：本地化、同步開銷及公平性約束，并對(duì)處理這三個(gè)因素的調(diào)度方法進(jìn)行分析。對(duì)MapReduce模型中同步開銷問題的兩種解決方法：異步處理和推測(cè)執(zhí)行進(jìn)行了探究。對(duì)于公平性約束，討論了

3、Hadoop的本地提升和延遲調(diào)度，以及Dryad的Quincy調(diào)度器。
　　(2)結(jié)合異構(gòu)多核環(huán)境的特性，針對(duì)基于典型MapReduce調(diào)度算法—LATE算法的不足，提出了一種MapReduce異構(gòu)多核調(diào)度的改進(jìn)算法，該算法通過在系統(tǒng)上添加使系統(tǒng)獲得自動(dòng)學(xué)習(xí)的能力——機(jī)器學(xué)習(xí)中的監(jiān)管學(xué)習(xí)，隨機(jī)提取部分工作任務(wù)作為測(cè)試任務(wù)，以獲得處理節(jié)點(diǎn)的處理信息，進(jìn)而得到任務(wù)處理的各個(gè)階段的實(shí)際時(shí)間比，并調(diào)整程序的運(yùn)行方式，從而啟動(dòng)備份任務(wù)，以提