Hadoop平臺下的海量小文件處理研究.pdf

1、近年來隨著大數(shù)據(jù)的被大量應(yīng)用到社會生活中，導(dǎo)致無論是在數(shù)據(jù)量上還是在數(shù)據(jù)類型上都呈現(xiàn)了一種爆炸性的增長，從而使得在對數(shù)據(jù)分析時需要有更高的存儲能力，因此，作為在云計算概念上延伸和發(fā)展出來的大數(shù)據(jù)處理技術(shù)，業(yè)已成為炙手可熱的研究方向。而Hadoop平臺作為當(dāng)前應(yīng)用最廣的云計算大數(shù)據(jù)處理平臺，其在面對海量小文件處理時，則由于先天的設(shè)計因素，在直接應(yīng)用時存在著處理效率低下的問題。
　　針對Hadoop平臺下海量小文件的處理效率低下的問題

2、，本文結(jié)合實際工程部署情況，主要從下面三個方面進(jìn)行分析優(yōu)化：首先，在集群的底層架構(gòu)方面，通過分析比較傳統(tǒng)虛擬化技術(shù)與容器技術(shù)在處理性能方面的差異，使用更好的Hadoop平臺的底層架構(gòu)方案，即不使用傳統(tǒng)的虛擬機(jī)架構(gòu)方案，而采用容器作為底層的部署環(huán)境來搭建Hadoop平臺，從而提高Hadoop平臺下各應(yīng)用的數(shù)據(jù)處理能力；在文件存儲方面，基于Hadoop平臺下現(xiàn)有的HDFS，采用分類匯總的基本思想，結(jié)合實際情況來尋找合適的方案來提高Hadoo