Hadoop平臺(tái)下的海量小文件處理研究.pdf

1、近年來隨著大數(shù)據(jù)的被大量應(yīng)用到社會(huì)生活中，導(dǎo)致無論是在數(shù)據(jù)量上還是在數(shù)據(jù)類型上都呈現(xiàn)了一種爆炸性的增長(zhǎng)，從而使得在對(duì)數(shù)據(jù)分析時(shí)需要有更高的存儲(chǔ)能力，因此，作為在云計(jì)算概念上延伸和發(fā)展出來的大數(shù)據(jù)處理技術(shù)，業(yè)已成為炙手可熱的研究方向。而Hadoop平臺(tái)作為當(dāng)前應(yīng)用最廣的云計(jì)算大數(shù)據(jù)處理平臺(tái)，其在面對(duì)海量小文件處理時(shí)，則由于先天的設(shè)計(jì)因素，在直接應(yīng)用時(shí)存在著處理效率低下的問題。
　　針對(duì)Hadoop平臺(tái)下海量小文件的處理效率低下的問題

2、，本文結(jié)合實(shí)際工程部署情況，主要從下面三個(gè)方面進(jìn)行分析優(yōu)化：首先，在集群的底層架構(gòu)方面，通過分析比較傳統(tǒng)虛擬化技術(shù)與容器技術(shù)在處理性能方面的差異，使用更好的Hadoop平臺(tái)的底層架構(gòu)方案，即不使用傳統(tǒng)的虛擬機(jī)架構(gòu)方案，而采用容器作為底層的部署環(huán)境來搭建Hadoop平臺(tái)，從而提高Hadoop平臺(tái)下各應(yīng)用的數(shù)據(jù)處理能力；在文件存儲(chǔ)方面，基于Hadoop平臺(tái)下現(xiàn)有的HDFS，采用分類匯總的基本思想，結(jié)合實(shí)際情況來尋找合適的方案來提高Hadoo