MapReduce計算模型性能優(yōu)化的研究.pdf

1、山東建筑大學(xué)碩士學(xué)位論文題目MapReduce計算模型性能優(yōu)化的研究計：學(xué)位論文50頁表格2個插圖2l幅評閱人：指導(dǎo)教師：學(xué)院院長：學(xué)位論文完成日期：～一耕一一一一一山東建筑大學(xué)碩士學(xué)位論文摘要伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的快速發(fā)展，每天會產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)處于爆炸式的增長狀態(tài)，這預(yù)示著大數(shù)據(jù)時代的到來。大數(shù)據(jù)時代的數(shù)據(jù)具有數(shù)量大、結(jié)構(gòu)復(fù)雜的特點，導(dǎo)致數(shù)據(jù)存儲和計算難度的加大。Google提出的MapReduce分布式計算模型簡化了

2、海量數(shù)據(jù)計算的問題，成為研究的熱點。所以本文對MapReduce技術(shù)的研究和性能的優(yōu)化具有實際意義。MapReduce是一種分布式計算模型，它簡化了程序員編寫分布式程序的步驟，因此被廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域。Hadoop是MapReduce的開源實現(xiàn)，具備海量數(shù)據(jù)處理的能力。然而，它的一些處理機制影響了性能的發(fā)揮。比如：當(dāng)數(shù)據(jù)出現(xiàn)傾斜時，原有的劃分方法不能保證節(jié)點的負(fù)載均衡，集群性能會受影響。因此，需要優(yōu)化現(xiàn)有的處理機制。本文研究的主要內(nèi)容

3、是：首先對Hadoop平臺進(jìn)行簡單介紹，重點研究MapReduce計算模型，對其組成模塊和運行機制進(jìn)行深入的分析。在分析MapReduce源碼的基礎(chǔ)上，發(fā)現(xiàn)了當(dāng)數(shù)據(jù)存在傾斜時節(jié)點會出現(xiàn)負(fù)載不均的問題和在異構(gòu)環(huán)境下推測執(zhí)行機制效率低的問題。針對數(shù)據(jù)存在傾斜負(fù)載不均的問題，本文提出了一種抽樣的方法，利用抽樣獲取Map端中間結(jié)果的分布信息，在抽樣的基礎(chǔ)上結(jié)合數(shù)據(jù)局部性產(chǎn)生劃分函數(shù)，可以使節(jié)點負(fù)載趨于均衡。針對原有的推測執(zhí)行機制效率低的問題，本