基于預(yù)測的Hadoop任務(wù)調(diào)度算法優(yōu)化.pdf

1、在出現(xiàn)落后任務(wù)時(shí)，現(xiàn)有的Hadoop推測式執(zhí)行任務(wù)調(diào)度器會(huì)在空閑節(jié)點(diǎn)上為該任務(wù)進(jìn)行備份執(zhí)行，但并未周全地考慮該空閑節(jié)點(diǎn)的當(dāng)前性能，可能造成這次備份任務(wù)仍然失敗或執(zhí)行速度非常慢，導(dǎo)致執(zhí)行備份任務(wù)的失敗率較高，不僅占用較多系統(tǒng)資源并且延遲了系統(tǒng)響應(yīng)時(shí)間。因此，研究現(xiàn)有的Hadoop任務(wù)調(diào)度算法，針對(duì)備份任務(wù)的調(diào)度執(zhí)行提出改進(jìn)方案，對(duì)提高系統(tǒng)性能有非常重要的意義。
　　提出了基于預(yù)測的Hadoop任務(wù)調(diào)度優(yōu)化算法——CPL（Comput

2、ation Prediction of Late）調(diào)度算法，主要包含兩個(gè)優(yōu)化點(diǎn)：首先，在系統(tǒng)中維護(hù)兩個(gè)預(yù)測隊(duì)列，分別為CPU空閑型節(jié)點(diǎn)隊(duì)列和I/O空閑型節(jié)點(diǎn)隊(duì)列。隊(duì)列內(nèi)部按執(zhí)行任務(wù)失敗率升序排序，在匹配任務(wù)和節(jié)點(diǎn)類型的基礎(chǔ)上，預(yù)測即將空閑且失敗率低的節(jié)點(diǎn)執(zhí)行備份任務(wù)，降低了執(zhí)行備份任務(wù)的失敗率；其次，利用Map任務(wù)占用CPU時(shí)間片段的總和對(duì)現(xiàn)有的任務(wù)分類算法進(jìn)行了修正，提出了更加準(zhǔn)確的任務(wù)類型劃分方法。
　　通過CloudSim云