云計算中MapReduce性能優(yōu)化及應(yīng)用.pdf

1、云計算中MapReduce性能優(yōu)化及應(yīng)用重慶大學(xué)碩士學(xué)位論文學(xué)生姓名：陳香香指導(dǎo)教師：吳開貴副教授專業(yè)：計算機(jī)系統(tǒng)結(jié)構(gòu)學(xué)科門類：工學(xué)重慶大學(xué)計算機(jī)學(xué)院二O一一年五月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要自2007年以來，云計算已經(jīng)逐漸成為國際IT界比較熱門的概念，隨著數(shù)據(jù)量的激增，如何快速高效地存儲和計算海量數(shù)據(jù)成為目前科學(xué)界迫切需要解決的問題，而這類問題恰恰是云計算推出的動力之一，使得云計算的普及和應(yīng)用已經(jīng)成為業(yè)界不可回避和逆轉(zhuǎn)的趨勢。但

2、是就云計算本身說，它只是一種思維模式，要想真正發(fā)揮它的優(yōu)勢，除了必要的硬件設(shè)施之外，更重要的是要有支撐和實(shí)現(xiàn)云計算思想的編程模型，而Google提出的MapReduce并行編程模型，以其簡單有力的接口使得并行處理變得簡單易行，為云計算中海量數(shù)據(jù)的計算提供了軟件支持。本文詳細(xì)分析了GoogleMapReduce及其底層文件存儲系統(tǒng)GFS的概念、優(yōu)點(diǎn)和實(shí)現(xiàn)機(jī)制。然后針對MapReduce的執(zhí)行流程中對中間結(jié)果數(shù)據(jù)的處理機(jī)制不靈活，沒有在第一

3、時間減少中間結(jié)果的數(shù)量的缺點(diǎn)，在MapRedeuce的map函數(shù)中引入關(guān)聯(lián)數(shù)組，可以使中間結(jié)果的合并操作在Map函數(shù)中自動進(jìn)行，更有效的減少中間結(jié)果的數(shù)量，降低網(wǎng)絡(luò)負(fù)擔(dān)，從而提高系統(tǒng)的執(zhí)行效率。本文在對MapReduce進(jìn)行改進(jìn)之后，設(shè)計和實(shí)現(xiàn)了基于MapRedeuce的文本分類器。在文本處理和數(shù)據(jù)挖掘領(lǐng)域，海量數(shù)據(jù)的分類問題是經(jīng)常遇到的，然而傳統(tǒng)的算法只能適應(yīng)于小規(guī)模的數(shù)據(jù)，隨著數(shù)據(jù)量的增大，算法的執(zhí)行速度越來越慢，實(shí)時性越來越差，成

4、為傳統(tǒng)數(shù)據(jù)挖掘的瓶頸。這種新的分類器構(gòu)建方法在集群中并行地實(shí)現(xiàn)分類器的構(gòu)建，大大提高了效率，使得算法具有更好的實(shí)時性。為了驗(yàn)證MapReduce改進(jìn)之后的性能，我們采用Mapreduce的開源實(shí)現(xiàn)Hadoop來進(jìn)行實(shí)驗(yàn)，以運(yùn)行時間作為衡量算法的標(biāo)準(zhǔn)，結(jié)果證明新的算法的效率比傳統(tǒng)的算法要高的多。對于分類器的實(shí)現(xiàn)，我們也是在Hadoop平臺下進(jìn)行的，通過結(jié)果對比可知，基于MapReduce的分類器的具有更好的效率和可擴(kuò)展性。關(guān)鍵詞：云計算，