小文件處理及算法并行化在Hadoop上的設(shè)計與實現(xiàn).pdf

1、隨著社會信息化進程的不斷加速，各公司企業(yè)積累了大量的數(shù)據(jù)資料，尤其是小文件的數(shù)據(jù)量更是增長迅速。面對海量小文件數(shù)據(jù)，傳統(tǒng)的單機系統(tǒng)既無法滿足存儲能力的需求，也無法進行高效的分析計算。為了解決單機系統(tǒng)面臨的難題，各種分布式系統(tǒng)逐漸被應(yīng)用到海量數(shù)據(jù)處理中來。Apache公司開發(fā)的Hadoop是一個優(yōu)秀的分布式平臺，它的分布式文件系統(tǒng) HDFS與分布式編程模型MapReduce分別為數(shù)據(jù)的存儲和計算提供了有力支持，基于Hadoop的數(shù)據(jù)處理系

2、統(tǒng)也得到了廣泛研究。但是，Hadoop起初是為了處理大型日志文件而設(shè)計的，它在存儲海量小文件時的性能并不好，因此，在面向海量小文件的數(shù)據(jù)處理系統(tǒng)中，需要研究的第一個問題就是如何對Hadoop進行優(yōu)化，以便高效地存儲這些數(shù)據(jù)文件。然而，存儲僅僅是系統(tǒng)要做的第一步工作，還需要對數(shù)據(jù)進行計算，如何基于Hadoop對數(shù)據(jù)進行統(tǒng)計分析，挖掘數(shù)據(jù)中的潛在價值，也是一個需要研究的問題。
　　本文深入分析了HDFS、MapReduce的工作原理，

3、結(jié)合海量小文件處理系統(tǒng)的需求，對基于Hadoop的海量小文件處理系統(tǒng)中的數(shù)據(jù)存儲與分析計算這兩項關(guān)鍵技術(shù)進行了研究，主要完成了如下工作：
　　①研究了Hadoop存儲海量小文件的不足，提出了一種在存儲之前對小文件進行合并的策略，該方法采用Hadoop自帶的歸檔工具對小文件進行合并，有效提升系統(tǒng)存儲小文件的性能，此外，合并后的文件可以直接作為MapReduce任務(wù)的輸入數(shù)據(jù)，非常便于系統(tǒng)進行后續(xù)的分析處理。
　　②在對小文件進

4、行合并存儲的基礎(chǔ)之上，研究了經(jīng)典數(shù)據(jù)挖掘算法在Hadoop上的并行化實現(xiàn)方法，針對數(shù)據(jù)分析中經(jīng)常用到的聚類分析與頻繁模式挖掘這兩項技術(shù)，分別選取了K-均值算法和FP-Growth算法進行基于 Hadoop的并行化設(shè)計與實現(xiàn)。
　?、圩詈螅罱薍adoop的實驗平臺，對這兩項關(guān)鍵技術(shù)進行了仿真實驗。實驗結(jié)果表明，本文提出的先合并后存儲的方法能夠有效提高系統(tǒng)存儲海量小文件的性能，按照MapReduce模型并行化之后的數(shù)據(jù)挖掘算法也具