Hadoop平臺(tái)的作業(yè)調(diào)度算法研究與改進(jìn).pdf

1、隨著云計(jì)算技術(shù)的發(fā)展成熟，云計(jì)算為企業(yè)提供了一種大數(shù)據(jù)的解決方案。Hadoop是Apache組織下的一種開源分布式云計(jì)算框架的實(shí)現(xiàn)，由于其具有高可靠性、高擴(kuò)展性以及高容錯(cuò)性等優(yōu)點(diǎn)，被諸多企業(yè)廣泛地用于大數(shù)據(jù)的處理。MapReduce是Hadoop對(duì)數(shù)據(jù)進(jìn)行分布式處理的核心組件，其作業(yè)調(diào)度算法決定了MapReduce的性能，影響到整個(gè)Hadoop系統(tǒng)的性能。目前，現(xiàn)有的Hadoop作業(yè)調(diào)度算法中Reduce任務(wù)調(diào)度算法過于簡(jiǎn)單，制約了Ha

2、doop系統(tǒng)性能的提升。一方面，存在小作業(yè)Reduce任務(wù)的饑餓以及較低的資源利用率的問題，另一方面，沒有考慮到Reduce任務(wù)的數(shù)據(jù)本地性的優(yōu)化。
　　本文針對(duì)Hadoop平臺(tái)作業(yè)調(diào)度算法展開了研究，并對(duì)其Reduce任務(wù)調(diào)度算法進(jìn)行了優(yōu)化。本文的主要工作如下:
　　1)深入分析了小作業(yè)Reduce任務(wù)的饑餓以及較低的資源利用率的問題，提出了一種任務(wù)時(shí)間估計(jì)模型，并基于此模型提出了一種改進(jìn)算法SBOTM(Scheduler

3、 Based On Time Model)，將SBOTM算法的實(shí)現(xiàn)嵌入到當(dāng)前比較流行的公平調(diào)度器中，通過與原生的公平調(diào)度器比較，該算法有效地改善了小作業(yè)Reduce任務(wù)的饑餓問題，提高了作業(yè)的執(zhí)行效率，并一定程度上提高了資源利用率。
　　2)深入分析了Reduce任務(wù)的數(shù)據(jù)本地性問題，并提出了一種延遲調(diào)度算法DSORT(Delay Scheduler Of Reduce Task)，將延遲調(diào)度的思想應(yīng)用到Reduce任務(wù)的數(shù)據(jù)本地