Hadoop小文件處理技術(shù)的研究與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)字信息呈現(xiàn)指數(shù)級的增長，人類已經(jīng)邁進(jìn)了大數(shù)據(jù)的時(shí)代。在數(shù)據(jù)存儲和計(jì)算方面，傳統(tǒng)的方法已經(jīng)顯得越來越?jīng)]有優(yōu)勢。怎樣高效以及合理地存儲計(jì)算大批量數(shù)據(jù)已經(jīng)成為國內(nèi)外各行各業(yè)關(guān)心的重點(diǎn)。鑒于對數(shù)據(jù)計(jì)算以及數(shù)據(jù)存儲的高要求，云計(jì)算的概念由此產(chǎn)生。隨著云計(jì)算技術(shù)的迅速發(fā)展，存儲和計(jì)算成為最熱門的研究范疇。
　　Hadoop是Apache基金會的一個開源的項(xiàng)目，它在分布式存儲以及分布式計(jì)算方面表現(xiàn)出杰出的性能，引發(fā)了國內(nèi)

2、外廣泛的關(guān)注，目前，越來越多的高校以及企業(yè)都開始應(yīng)用Hadoop支撐自己的業(yè)務(wù)與需求。盡管Hadoop是專門為存儲和計(jì)算大數(shù)據(jù)而設(shè)計(jì)的，但是當(dāng)Hadoop存儲小文件時(shí)，會給主節(jié)點(diǎn)帶來巨大的內(nèi)存壓力，影響文件的訪問效率，并且間接影響MapReduce編程模型的計(jì)算效率。本文基于Hadoop的MapReduce計(jì)算模型和HDFS分布式文件系統(tǒng)兩個核心內(nèi)容，著重研究了基于Hadoop的小文件處理技術(shù)的通用優(yōu)化。
　　為了解決Hadoop

3、技術(shù)在存儲和計(jì)算小文件時(shí)會給NameNode節(jié)點(diǎn)造成內(nèi)存的浪費(fèi)、讀取文件效率低下以及MapReduce模型計(jì)算效率低的問題，首先研究Hadoop本身自帶的小文件處理技術(shù)，深入分析了它們的優(yōu)缺點(diǎn)，并分別從MapReduce層面和HDFS層面對Hadoop進(jìn)行研究與優(yōu)化，提高Hadoop存儲、計(jì)算小文件的效率。在MapReduce層面，對MapReduce的執(zhí)行流程以及InputFormat體系結(jié)構(gòu)進(jìn)行深入研究，詳細(xì)分析MapReduce源

4、代碼以及內(nèi)部方法的具體實(shí)現(xiàn)。通過深入研究以及實(shí)現(xiàn)CombineFileInputFormat抽象類，在MapReduce層面對小文件的輸入格式進(jìn)行合并，提高了Hadoop對小文件的計(jì)算效率。在HDFS層面，本文提出一種具有獨(dú)立小文件處理模塊的分布式文件系統(tǒng)，它不依賴于HDFS，整個模塊可以和Hadoop集群做到很好的解耦，互不影響。此模塊對小文件進(jìn)行合并，索引映射以及讀取，并加入小文件緩存模塊，提高文件的訪問效率，并間接提高M(jìn)apRed