云計算下MapReduce編程模型可用性的研究與優(yōu)化.pdf

1、云計算的根基是那些隱藏于后臺的大規(guī)模數(shù)據(jù)，通常數(shù)據(jù)的規(guī)?？梢赃_到TB甚至PB級別，如何處理如此大量的數(shù)據(jù)是云計算要面臨的主要問題之一。由于數(shù)據(jù)量非常大，單臺機器不可能滿足海量數(shù)據(jù)處理的性能和可靠性等方面的要求。因此如何在分布式數(shù)據(jù)系統(tǒng)中對大規(guī)模數(shù)據(jù)進行處理，是目前云計算所面臨的主要挑戰(zhàn)。此前的運算模式已經(jīng)不能滿足云計算環(huán)境下的數(shù)據(jù)處理能力，在此背景下，MapReduce編程模型應運而生。然而 MapReduce編程模型并不完善，多數(shù)學者

2、分別針對該模型算法執(zhí)行效率、內(nèi)部算法本身、與現(xiàn)有系統(tǒng)集成或者與現(xiàn)有方法論結合等方面做出了相應貢獻。而在MapReduce編程模型總體架構上的改進相對來說較少。
　　本文對Google的云平臺技術MapReduce和Google File System進行了深入研究，并針對兩個技術在Hadoop中的應用（分別對應 MapReduce和Hadoop Distributed File System）進行了深入研究和實踐。運用現(xiàn)有框架搭建

3、了一個小型機群，實現(xiàn)了一個用于支持大規(guī)模分布式數(shù)據(jù)處理應用的集群系統(tǒng)，發(fā)現(xiàn)了該系統(tǒng)在處理單一節(jié)點失效問題上的性能缺陷。提出了使用分層的主從式架構模型以及任務節(jié)點元數(shù)據(jù)備份策略相結合的方式，來解決任務服務器上單一節(jié)點失效之后所帶來的系統(tǒng)崩潰問題，以此提高了整個系統(tǒng)的可用性同時緩解了任務節(jié)點的壓力。之后根據(jù)本文所做的研究工作，重新搭建了一個改進后的小型應用集群系統(tǒng)，并對改進前與改進后的系統(tǒng)進行了系統(tǒng)的測試和數(shù)據(jù)收集。通過對數(shù)據(jù)的匯總、對比及

4、分析，本文得出的結論是，采用本文的架構模型會在系統(tǒng)執(zhí)行效率方面較傳統(tǒng)的主從式架構模型有所下降，但是解決了系統(tǒng)性能瓶頸受限于單一任務服務器的問題，同時大幅提高了系統(tǒng)整體的可用性，因此這種用少量性能換取長時間系統(tǒng)穩(wěn)定運行的做法是可行的。
　　本文首先對國內(nèi)外云計算技術研究現(xiàn)狀進行了綜述，分析了各大公司已有云計算應用的架構與特點；之后，研究與分析了MapReduce編程模型和Google File System等在云計算領域受到廣泛關注