Hadoop平臺下的作業(yè)調(diào)度算法研究及應(yīng)用.pdf

1、隨著信息進(jìn)程的深入和數(shù)字設(shè)備市場的繁榮，全球產(chǎn)生的數(shù)據(jù)量快速增長，云計(jì)算已經(jīng)成為新興技術(shù)領(lǐng)域和服務(wù)領(lǐng)域重要的計(jì)算模式。Apache Hadoop作為云計(jì)算的開源平臺提供了強(qiáng)大的數(shù)據(jù)處理工具，得到了企業(yè)廣泛的應(yīng)用和支持。Hadoop平臺下的作業(yè)調(diào)度算法負(fù)責(zé)支配計(jì)算集群的資源和決定作業(yè)的執(zhí)行次序，采用合適的調(diào)度算法可以有效地減少作業(yè)響應(yīng)時間，提高整個集群的計(jì)算效率。因此研究和優(yōu)化作業(yè)調(diào)度算法對提高Hadoop平臺的整體性能意義重大。

2、　　本文在研究和分析Hadoop平臺現(xiàn)有作業(yè)調(diào)度算法的基礎(chǔ)上，針對LATE調(diào)度算法在執(zhí)行任務(wù)備份時沒有考慮重新調(diào)度備份任務(wù)的代價問題以及對任務(wù)剩余時間推測的靜態(tài)局限性，提出了基于重調(diào)度代價的LATE算法。新算法的改進(jìn)主要包括兩方面:(1)依據(jù)任務(wù)的重調(diào)度代價決定是否執(zhí)行任務(wù)備份機(jī)制，通過推測任務(wù)的重調(diào)度代價判斷為落后任務(wù)執(zhí)行備份機(jī)制是否有意義，確保執(zhí)行任務(wù)備份可以提高作業(yè)的運(yùn)行進(jìn)度;(2)基于節(jié)點(diǎn)執(zhí)行任務(wù)的歷史信息改變計(jì)算任務(wù)剩余時間的