Hadoop任務(wù)調(diào)度本地化研究.pdf

1、目前，大數(shù)據(jù)處理系統(tǒng)采用基于MapReduce框架的Hadoop平臺(tái)來(lái)處理和分析數(shù)據(jù)。作業(yè)調(diào)度要選擇合適作業(yè)的合適任務(wù)進(jìn)行調(diào)度，任務(wù)調(diào)度時(shí)數(shù)據(jù)本地化能減小網(wǎng)絡(luò)開(kāi)銷，提高作業(yè)的執(zhí)行效率。但現(xiàn)有的任務(wù)調(diào)度方法存在不足之處，因此，研究基于數(shù)據(jù)本地化的Hadoop任務(wù)調(diào)度方法具有重要意義。
　　首先，分析了現(xiàn)有任務(wù)調(diào)度方法存在的問(wèn)題。然后，設(shè)計(jì)了搶占式調(diào)度方法的總體結(jié)構(gòu)，并介紹了任務(wù)本地化的檢驗(yàn)、任務(wù)剩余時(shí)間估算、任務(wù)殺死與啟動(dòng)、任務(wù)啟動(dòng)

2、信息清除四個(gè)模塊的功能。
　　在各個(gè)模塊的實(shí)現(xiàn)方面，任務(wù)本地化檢驗(yàn)部分，給出了節(jié)點(diǎn)距離計(jì)算算法和任務(wù)本地化檢驗(yàn)算法；任務(wù)剩余執(zhí)行時(shí)間估算部分，給出了已啟動(dòng)和正準(zhǔn)備啟動(dòng)任務(wù)剩余時(shí)間的估算方法；任務(wù)的殺死和啟動(dòng)部分，介紹了殺死一個(gè)正在運(yùn)行的任務(wù)和重新啟動(dòng)一個(gè)新任務(wù)的方法；任務(wù)啟動(dòng)信息清除部分，介紹了清除任務(wù)相關(guān)啟動(dòng)信息的方法。
　　實(shí)驗(yàn)結(jié)果表明，當(dāng)集群中節(jié)點(diǎn)在同一個(gè)機(jī)架內(nèi)，如果其中存在計(jì)算和傳輸速度較慢的節(jié)點(diǎn)時(shí)，本課題研究的調(diào)度