Hadoop作業(yè)調(diào)度本地性的研究與優(yōu)化.pdf

1、人類從當(dāng)前“以設(shè)備為中心”的時代，已經(jīng)進(jìn)入了“以服務(wù)為中心的時代”?，F(xiàn)在，“云”正成為IT業(yè)界關(guān)注的焦點(diǎn)。Hadoop是Apache開源組織的一個分布式計(jì)算開源框架，它受到最先由Google Lab開發(fā)的Map/Reduce和Google FileSystem(GFS)的啟發(fā)，是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop由分布式文件系統(tǒng)和分布式計(jì)算框架MapReduce兩部分組成

2、，其中MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對存儲在分布式文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分布式計(jì)算。而作業(yè)調(diào)度算法對整個Hadoop執(zhí)行作業(yè)的性能起著很重要的作用。為了減少任務(wù)執(zhí)行過程中網(wǎng)絡(luò)傳輸開銷，通常將任務(wù)調(diào)度到輸入數(shù)據(jù)所在的計(jì)算節(jié)點(diǎn)，也就是讓任務(wù)在本地進(jìn)行計(jì)算。
　　Hadoop三種原生調(diào)度算法在任務(wù)選擇策略上相同，這個任務(wù)選擇策略優(yōu)先選擇本地性的任務(wù)。Hadoop有時還對非本地性任務(wù)進(jìn)行調(diào)度，比如當(dāng)其它節(jié)點(diǎn)都很忙碌而有空閑節(jié)

3、點(diǎn)申請任務(wù)調(diào)度而的時候。而且對失敗任務(wù)的調(diào)度Hadoop通常不考慮任務(wù)的數(shù)據(jù)本地性，針對Hadoop調(diào)度算法在數(shù)據(jù)本地性方面存在的這些問題，為了改善這些狀況，本文基于數(shù)據(jù)塊間資源預(yù)取的方法，給出了改進(jìn)思想，該改進(jìn)思想在非本地任務(wù)執(zhí)行之前，其它任務(wù)執(zhí)行過程中對非本地性任務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)塊間的預(yù)取，這樣就嚴(yán)格保證了Hadoop調(diào)度任務(wù)的本地性。
　　本文通過搭建小型的Hadoop平臺，依次對Hadoop原生調(diào)度算法和給出的改進(jìn)思想進(jìn)行實(shí)