MapReduce模型在Hadoop中的性能優(yōu)化及改進.pdf

1、如今的互聯(lián)網(wǎng)是一個數(shù)據(jù)爆炸的時代,人們的工作、生活、娛樂都與網(wǎng)絡(luò)緊緊聯(lián)系在一起,使得網(wǎng)絡(luò)上數(shù)據(jù)規(guī)模急劇增加,應(yīng)用類型極大豐富。那些看似空洞混亂的數(shù)據(jù),其中其實蘊藏著巨大的商機,作為企業(yè)或組織,未來的成功在很大程度上取決于它是否能從數(shù)據(jù)中提取出價值。隨之而來的問題是單機的數(shù)據(jù)處理能力無法滿足當(dāng)今海量數(shù)據(jù)應(yīng)用的處理要求,基于大規(guī)模計算機集群的分布式計算成為未來數(shù)據(jù)處理性能提升的主要途徑。
　　 Hadoop因其可靠的穩(wěn)定性、高效的分

2、布式并行處理能力、易擴展和開源的性質(zhì),在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。
　　 本文對Hadoop的核心技術(shù)之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數(shù)據(jù)的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中由于中間數(shù)據(jù)量的超大規(guī)模和數(shù)據(jù)分布的不均衡而產(chǎn)生的性能瓶頸,提升程序運行性能

3、,優(yōu)化資源的合理利用。
　　 Hadoop因其可靠的穩(wěn)定性、高效的分布式并行處理能力、易擴展和開源的性質(zhì),在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。
　　 本文對Hadoop的核心技術(shù)之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數(shù)據(jù)的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中