大數(shù)據(jù)環(huán)境下Hadoop平臺性能優(yōu)化研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及各種移動設(shè)備的普及，當(dāng)今社會數(shù)據(jù)規(guī)模已呈指數(shù)增長。數(shù)據(jù)種類包含了文本、語音、視頻、網(wǎng)絡(luò)日志等多種形式，大數(shù)據(jù)時(shí)代已然來臨。在大數(shù)據(jù)時(shí)代，將已有的海量數(shù)據(jù)信息進(jìn)行專業(yè)分析和處理，使得原始數(shù)據(jù)增值、可利用是亟需解決的關(guān)鍵問題。如今，Hadoop是一個(gè)能夠有效的對海量數(shù)據(jù)進(jìn)行分析與處理的開源平臺，具有高可靠性、高擴(kuò)展性、高效性以及高容錯(cuò)性等優(yōu)點(diǎn)。因此，本文在大數(shù)據(jù)環(huán)境下對Hadoop平臺的性能進(jìn)行研究

2、和優(yōu)化有著重要的現(xiàn)實(shí)意義。
　　本文首先對Hadoop平臺進(jìn)行了簡單的介紹，重點(diǎn)研究了Hadoop平臺的核心組成部分HDFS和MapReduce，對二者的組成部分、運(yùn)行原理進(jìn)行了深入的研究，在分析HDFS和MapReduce源碼的基礎(chǔ)上，提出了HDFS中Namenode存在的單點(diǎn)失效問題以及MapReduce在處理連接問題時(shí)效率不高兩個(gè)性能問題并對其進(jìn)行優(yōu)化研究。針對HDFS中Namenode單點(diǎn)失效問題，本文在對現(xiàn)有解決方案進(jìn)行

3、研究的基礎(chǔ)上，提出一種改進(jìn)的Avatar機(jī)制，改進(jìn)的Avatar機(jī)制是一個(gè)能夠支持自動切換，支持二次故障并且不丟失數(shù)據(jù)的方案。針對MapReduce處理連接算法時(shí)所表現(xiàn)的效率低下問題，本文提出一種基于計(jì)數(shù)型Bloom過濾器的星型連接算法，該算法能夠有效降低磁盤的I/O開銷，大大縮短連接時(shí)間，提高了Hadoop分析海量數(shù)據(jù)的速度。
　　最后，搭建了實(shí)驗(yàn)平臺對改進(jìn)的Avatar機(jī)制和基于計(jì)數(shù)型Bloom過濾器的星型連接算法進(jìn)行實(shí)驗(yàn)驗(yàn)證