面向全局完成時間優(yōu)化的多MapReduce作業(yè)合并方法的研究與實現(xiàn).pdf

1、隨著互聯(lián)網技術的不斷發(fā)展，數(shù)據(jù)空前膨脹，云計算發(fā)展迅速。在云計算中，MapReduce分布式計算框架已經成為目前流行的處理大數(shù)據(jù)的計算模型。為了保證MapReduce的執(zhí)行性能，目前針對于MapReduce作業(yè)優(yōu)化問題已經開展了大量的研究工作，不同的優(yōu)化策略，MapReduce作業(yè)具有不同的執(zhí)行性能。
　　本文分析了目前MapReduce作業(yè)優(yōu)化的研究現(xiàn)狀，針對周期性I/O密集型的多MapReduce作業(yè)調度因獨立執(zhí)行而存在的I/

2、O資源難以共享問題，提出了一種面向全局完成時間優(yōu)化的多MapReduce作業(yè)合并方法。首先，針對多MapReduce作業(yè)之間未共享讀輸入文件而導致作業(yè)初始化階段I/O消耗過大問題，提出具有相同輸入文件的MapReduce作業(yè)合并方法，通過對MapReduce作業(yè)處理過程中的I/O資源消耗建模，來衡量MapReduce作業(yè)處理過程中的I/O操作執(zhí)行時間，并在此基礎上給出了多MapReduce作業(yè)合并的收益評價函數(shù)和合并數(shù)學模型，進而提出面

3、向共享讀的多MapReduce合并算法。其次，在面向共享讀的多MapReduce作業(yè)合并問題解決的基礎上，針對作業(yè)合并后，由于中間數(shù)據(jù)過多冗余造成中間結果排序和網絡復制I/O消耗很大問題，提出Map輸出合并模型，并提出合并后中間數(shù)據(jù)量估計算法。通過以上方法和算法，能夠有效提高I/O密集型多MapReduce作業(yè)的全局完成時間。
　　最后，本文在上述研究的基礎上，搭建了一個分布式的Hadoop集群實驗環(huán)境，通過對比實驗，對實驗結果進