Hadoop平臺(tái)作業(yè)調(diào)度算法研究與改進(jìn).pdf

1、隨著搜索引擎、社交網(wǎng)絡(luò)等數(shù)據(jù)密集型互聯(lián)網(wǎng)應(yīng)用的發(fā)展，信息和數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)的趨勢(shì)，如何存儲(chǔ)和處理越來(lái)越龐大的數(shù)據(jù)信息，于是產(chǎn)生了云計(jì)算。云計(jì)算把原有的技術(shù)如網(wǎng)格計(jì)算和分布式計(jì)算進(jìn)行整合并以新的模式呈現(xiàn)出來(lái)，它構(gòu)建在大量廉價(jià)的服務(wù)器上，利用虛擬化技術(shù)整合現(xiàn)有的計(jì)算資源、存儲(chǔ)資源和帶寬資源，通過統(tǒng)一的接口為用戶提供按需分配的各種資源。
　　在所有的云計(jì)算平臺(tái)中，Hadoop是最流行的開源云平臺(tái)架構(gòu)，其中的核心技術(shù)HDFS和MapR

2、educe分別實(shí)現(xiàn)了Google云平臺(tái)中的GFS和MapReduce，它們分別具有對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和處理的功能。如何通過設(shè)計(jì)不同的作業(yè)調(diào)度算法來(lái)提升MapReduce性能，已然成為學(xué)術(shù)界和工業(yè)界都非常關(guān)注的一個(gè)熱點(diǎn)問題，本文主要研究了延遲調(diào)度算法和LATE調(diào)度算法，并針對(duì)算法中存在的問題提出了改進(jìn)。
　　延遲調(diào)度算法是為了解決“數(shù)據(jù)本地性”問題而提出的一種算法，核心思想是空閑節(jié)點(diǎn)在申請(qǐng)作業(yè)時(shí)，優(yōu)先選擇作業(yè)隊(duì)列中在該節(jié)點(diǎn)上具有待處

3、理數(shù)據(jù)的作業(yè)，若在規(guī)定的時(shí)間內(nèi)仍沒有找到本地作業(yè)，則選擇隊(duì)首作業(yè)執(zhí)行。這種方法大大提高了作業(yè)本地執(zhí)行的概率，同時(shí)也產(chǎn)生了一些問題，若作業(yè)待處理數(shù)據(jù)集中在某幾個(gè)節(jié)點(diǎn)上，則會(huì)加重這些節(jié)點(diǎn)的負(fù)載，容易導(dǎo)致集群負(fù)載不平衡，影響執(zhí)行效率。本文對(duì)延遲調(diào)度算法進(jìn)行改進(jìn)，思路如下：一是均衡負(fù)載，在作業(yè)等待本地目標(biāo)節(jié)點(diǎn)的同時(shí)，檢測(cè)空閑節(jié)點(diǎn)的負(fù)載情況，如果節(jié)點(diǎn)負(fù)載超過閾值，則暫時(shí)不予分配任務(wù)；二是增加熱點(diǎn)數(shù)據(jù)塊的副本數(shù)量，以提高這些數(shù)據(jù)成功訪問的概率。通過

4、上述兩種方式達(dá)到提升Hadoop集群運(yùn)行效率的目的。
　　LATE調(diào)度算法是針對(duì)異構(gòu)集群節(jié)點(diǎn)運(yùn)行速度不同提出的一種快節(jié)點(diǎn)運(yùn)行慢節(jié)點(diǎn)上面任務(wù)的方法，以縮短集群的整體運(yùn)行時(shí)間。但該調(diào)度算法未充分考慮備份任務(wù)在同一機(jī)架和不同機(jī)架推測(cè)執(zhí)行時(shí)數(shù)據(jù)傳輸消耗的時(shí)間差異性以及集群不同節(jié)點(diǎn)的負(fù)載情況。本文綜合這兩個(gè)方面進(jìn)行改進(jìn)，在推測(cè)作業(yè)剩余完成時(shí)間時(shí)，考慮數(shù)據(jù)遷移的時(shí)間成本，以剩余時(shí)間和遷移時(shí)間之和為權(quán)值進(jìn)行排序，再結(jié)合集群中節(jié)點(diǎn)的負(fù)載情況進(jìn)行分