基于MapReduce模型的分布式計(jì)算平臺(tái)的原理與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)應(yīng)用的高速發(fā)展與應(yīng)用為企業(yè)帶來了非常巨大的發(fā)展機(jī)遇，各種個(gè)性化的應(yīng)用與服務(wù)散發(fā)著無限魅力。然而隨之而來的是海量數(shù)據(jù)。如何正確而高效的從海量數(shù)量中分析有用信息并做出決策是目前所有新型互聯(lián)網(wǎng)企業(yè)必須面對(duì)的一件極具挑戰(zhàn)性的工作。
　　 傳統(tǒng)上，人們往往選擇使用分布式計(jì)算系統(tǒng)來處理這種復(fù)雜而龐大的任務(wù)。傳統(tǒng)的分布式計(jì)算平臺(tái)往往依賴高端大型服務(wù)器，并且需要專業(yè)分布式與并行計(jì)算的程序員進(jìn)行長(zhǎng)期設(shè)計(jì)與維護(hù)。這往往使得新型互聯(lián)網(wǎng)企業(yè)面臨巨

2、大的經(jīng)濟(jì)壓力。因此，設(shè)計(jì)一個(gè)采用大量廉價(jià)機(jī)器組成的可擴(kuò)展的分布式計(jì)算平臺(tái)變得尤其重要。
　　 MapReduce是一種并行編程模型，它用于處理大型的數(shù)據(jù)集的程序設(shè)計(jì)中?；谶@種功能的程序能夠在大規(guī)模的廉價(jià)機(jī)器上并發(fā)地執(zhí)行任務(wù)?；贛apReduce編程模型的分布式計(jì)算系統(tǒng)解決以下細(xì)節(jié)：分割輸入數(shù)據(jù)，在集群上的調(diào)度，機(jī)器的錯(cuò)誤處理，管理機(jī)器之間必要的通信。這樣就可以讓沒有并行編程經(jīng)驗(yàn)的程序員利用大量分布式系統(tǒng)的資源了。
　　

3、 基于MapReduce編程的優(yōu)點(diǎn)，本文在分析當(dāng)前各種分布式計(jì)算系統(tǒng)的基礎(chǔ)上，設(shè)計(jì)了一個(gè)運(yùn)行于普通廉價(jià)機(jī)器上的可擴(kuò)展的分布式計(jì)算平臺(tái)。首先我們對(duì)比當(dāng)前幾種流行的分布式計(jì)算技術(shù)，總結(jié)各自的優(yōu)缺點(diǎn)，提出了更適合于分析海量數(shù)據(jù)的分布式計(jì)算平臺(tái)框架。然后從平臺(tái)總體架構(gòu)上進(jìn)行設(shè)計(jì)，合理地設(shè)計(jì)了各個(gè)功能子模塊。我們花了大量筆墨于系統(tǒng)I/O模塊和MapReduce模塊，因?yàn)橄到y(tǒng)I/O的好壞將直接影響到系統(tǒng)的整體性能。而MapReduce模塊是整個(gè)系