MapReduce的工作機(jī)理及其應(yīng)用研究.pdf

1、學(xué)校代碼：10385分類號：研究生學(xué)號：1001414019密級：工程碩士專業(yè)學(xué)位論文MapReduce的工作機(jī)理及其應(yīng)用研究的工作機(jī)理及其應(yīng)用研究WkingprincipleAppliedresearchofMapReduce作者姓名：陳堅(jiān)釗陳堅(jiān)釗指導(dǎo)教師：謝維波謝維波工程單位導(dǎo)師：工程領(lǐng)域：計(jì)算機(jī)技術(shù)計(jì)算機(jī)技術(shù)研究方向：云計(jì)算云計(jì)算所在學(xué)院：計(jì)算計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院機(jī)科學(xué)與技術(shù)學(xué)院論文提交日期：二零一三二零一三年十一十一月二十七二十

2、七日摘要摘要半個世紀(jì)以來，社會生活無處不包含計(jì)算機(jī)技術(shù)應(yīng)用，隨之而來的信息爆炸經(jīng)過量變階段的積累，已經(jīng)發(fā)展到了質(zhì)變階段。如今，信息泡沫越來越嚴(yán)重，而且增長速度越來越快，其相關(guān)學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出“大數(shù)據(jù)”這個概念，已應(yīng)用到了所有人類智力發(fā)展得領(lǐng)域中。現(xiàn)代社會的信息量增長速度極快，這些信息里又蘊(yùn)含著大量的數(shù)據(jù)，預(yù)計(jì)到2020年，每年產(chǎn)生的數(shù)字信息將會有過13的內(nèi)容駐留在云平臺中或通過云平臺處理。我們需要對這些數(shù)據(jù)充分進(jìn)行數(shù)據(jù)挖掘，

3、以獲取其他重要信息，而MapReduce是現(xiàn)今處理“大數(shù)據(jù)”的一種編程模型。本文首先對Hadoop的背景和目前國內(nèi)外的研究現(xiàn)狀進(jìn)行了介紹，并對Hadoop的項(xiàng)目結(jié)構(gòu)進(jìn)行了介紹。接著，對HDFS的體系結(jié)構(gòu)進(jìn)行了分析描述，并介紹了其存取策略與安全模式。然后，重點(diǎn)分析MapReduce編程模型，針對MapReduce的若干種算法，對MapReduce的工作機(jī)理進(jìn)行了深入研究。在以上過程中，本文主要介紹了關(guān)系代數(shù)中的各種運(yùn)算，如選擇、投影、并、