Hadoop平臺下的海量小文件處理研究.pdf

1、近年來隨著大數(shù)據(jù)的被大量應用到社會生活中，導致無論是在數(shù)據(jù)量上還是在數(shù)據(jù)類型上都呈現(xiàn)了一種爆炸性的增長，從而使得在對數(shù)據(jù)分析時需要有更高的存儲能力，因此，作為在云計算概念上延伸和發(fā)展出來的大數(shù)據(jù)處理技術，業(yè)已成為炙手可熱的研究方向。而Hadoop平臺作為當前應用最廣的云計算大數(shù)據(jù)處理平臺，其在面對海量小文件處理時，則由于先天的設計因素，在直接應用時存在著處理效率低下的問題。
　　針對Hadoop平臺下海量小文件的處理效率低下的問題

2、，本文結合實際工程部署情況，主要從下面三個方面進行分析優(yōu)化：首先，在集群的底層架構方面，通過分析比較傳統(tǒng)虛擬化技術與容器技術在處理性能方面的差異，使用更好的Hadoop平臺的底層架構方案，即不使用傳統(tǒng)的虛擬機架構方案，而采用容器作為底層的部署環(huán)境來搭建Hadoop平臺，從而提高Hadoop平臺下各應用的數(shù)據(jù)處理能力；在文件存儲方面，基于Hadoop平臺下現(xiàn)有的HDFS，采用分類匯總的基本思想，結合實際情況來尋找合適的方案來提高Hadoo