異構(gòu)分布式環(huán)境下基于MapReduce模型的任務(wù)調(diào)度算法研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，大規(guī)模數(shù)據(jù)處理的應(yīng)用需求日益地增加，傳統(tǒng)系統(tǒng)難以提供足夠的存儲(chǔ)和計(jì)算資源進(jìn)行處理，云計(jì)算技術(shù)成為最理想的解決方案。MapReduce是云計(jì)算中處理大規(guī)模數(shù)據(jù)的一種重要的編程模型，它簡(jiǎn)化了傳統(tǒng)分布式程序的開(kāi)發(fā)并提供一種簡(jiǎn)單的并行程序設(shè)計(jì)方法。Hadoop是MapReduce的開(kāi)源實(shí)現(xiàn)，它是眾多互聯(lián)網(wǎng)企業(yè)和研究機(jī)構(gòu)進(jìn)行大規(guī)模數(shù)據(jù)處理的分布式平臺(tái)。雖然Hadoop已得到廣泛地應(yīng)用，但是其在異構(gòu)分布式環(huán)境下存在

2、嚴(yán)重的性能問(wèn)題。因此本文以異構(gòu)環(huán)境下Hadoop性能問(wèn)題為研究目標(biāo)，在對(duì)MapReduce任務(wù)分配和調(diào)度的相關(guān)問(wèn)題進(jìn)行分析和研究的基礎(chǔ)上，提出了適合異構(gòu)環(huán)境下的任務(wù)調(diào)度算法，具體的工作及創(chuàng)新如下:
　　 (1)針對(duì)異構(gòu)環(huán)境下出現(xiàn)慢速任務(wù)和慢速節(jié)點(diǎn)導(dǎo)致系統(tǒng)性能低下的問(wèn)題，本文在分析原有MapReduce調(diào)度算法不足的基礎(chǔ)上，提出一種基于自適應(yīng)策略的任務(wù)調(diào)度算法。該算法能夠正確地計(jì)算任務(wù)執(zhí)行進(jìn)度和自動(dòng)適應(yīng)復(fù)雜變化的環(huán)境。首先通過(guò)引入

3、任務(wù)執(zhí)行歷史信息和K-means聚類算法對(duì)不同類型的Map任務(wù)和Reduce任務(wù)各子階段執(zhí)行所占的進(jìn)度比例進(jìn)行自動(dòng)地設(shè)定，并利用正確的進(jìn)度比例計(jì)算任務(wù)執(zhí)行進(jìn)度。然后基于任務(wù)執(zhí)行的進(jìn)度來(lái)估計(jì)任務(wù)剩余完成時(shí)間，并判定有最大剩余完成時(shí)間的任務(wù)為落后任務(wù)。其次通過(guò)比較任務(wù)進(jìn)度速率和平均進(jìn)度速率來(lái)判定落后節(jié)點(diǎn)，同時(shí)在快速節(jié)點(diǎn)上為落后任務(wù)啟動(dòng)備份任務(wù)。最后實(shí)驗(yàn)評(píng)估表明與Hadoop默認(rèn)調(diào)度器和LATE算法相比，本文提出的算法提高了對(duì)落后任務(wù)和落后節(jié)

4、點(diǎn)判定的正確性，同時(shí)縮短了異構(gòu)環(huán)境下MapReduce作業(yè)的平均運(yùn)行時(shí)間。
　　 (2)針對(duì)在異構(gòu)環(huán)境下采用現(xiàn)有MapReduce任務(wù)調(diào)度機(jī)制可能出現(xiàn)各計(jì)算節(jié)點(diǎn)間數(shù)據(jù)遷移和系統(tǒng)資源分配難以管理的問(wèn)題，本文提出一種基于資源預(yù)測(cè)的動(dòng)態(tài)任務(wù)調(diào)度算法。首先根據(jù)異構(gòu)集群中數(shù)據(jù)分布存儲(chǔ)的特點(diǎn)，提出根據(jù)各節(jié)點(diǎn)的計(jì)算能力按比例放置數(shù)據(jù)的方法。在數(shù)據(jù)合理分布的情況下，通過(guò)異構(gòu)環(huán)境下的資源預(yù)測(cè)方法估計(jì)MapReduce任務(wù)的完成時(shí)間，并根據(jù)任務(wù)完成