Hadoop分布式文件系統(tǒng)小文件數(shù)據(jù)存儲性能的優(yōu)化方法研究.pdf

1、當今社會已進入大數(shù)據(jù)時代，高效的數(shù)據(jù)存儲和讀取已成為人們關(guān)注的熱點問題，Hadoop在大數(shù)據(jù)存儲方面體現(xiàn)出了良好的數(shù)據(jù)存儲性能，但是最近隨著博客、維基百科、空間等一系列的社交應用的廣泛應用，小文件數(shù)據(jù)大量產(chǎn)生，對存儲大量小文件數(shù)據(jù)提出了很大挑戰(zhàn)，而Hadoop分布式文件系統(tǒng)由于其單一Namenode的結(jié)構(gòu)，在小文件存儲上效率是很低的，并容易導致Namenode瓶頸問題，本文就是在Hadoop分布式文件系統(tǒng)存儲小文件上提出新的解決方案并測

2、試其可行性。
　　論文的研究工作得到了國家自然科學基金項目(No.61271308、61172072、61401015)，北京市教育委員會研究生學科建設(shè)項目和中國電建集團成都勘測設(shè)計研究院項目的支持，論文的主要工作如下:
　　首先，論文分析了Hadoop分布式文件系統(tǒng)的特點及問題:單一Namenode在存儲海量小文件上會產(chǎn)生大量元數(shù)據(jù)信息，導致Namenode內(nèi)存消耗過大。因此采用了小文件合并大文件的方案解決，但是，小文件合

3、并大文件后小文件讀取需要二次索引才能讀取對應小文件，文件讀取效率會受一定影響，因此，通過引入二級索引元數(shù)據(jù)信息以及加入預取和緩存機制來提高小文件的讀取效率。通過上述分析，本文提出了一種擴展的Hadoop分布式文件系統(tǒng)框架結(jié)構(gòu)，主要是在用戶層和數(shù)據(jù)存儲層中間加了一個數(shù)據(jù)處理層，主要完成的是小文件合并和文件預取和緩存工作，從而提高小文件存儲的存儲性能。
　　論文在擴展的Hadoop分布式文件系統(tǒng)框架結(jié)構(gòu)中，主要應用了以下算法:基于文件

4、類型的小文件合并算法，通過將大量小文件按文件擴展名進行簡單分類處理，然后合并成大文件，有效地降低了Namenode的內(nèi)存消耗;基于文件類型的合并文件元數(shù)據(jù)二級索引算法，通過提高小文件合并大文件的映射文件的讀取速度進而提高了系統(tǒng)整體的文件讀取效率;基于動態(tài)頻率統(tǒng)計的熱存儲算法，通過將一定時間內(nèi)將讀取頻率最高的合并文件保存到文件預取和緩存部分，當用戶發(fā)出請求讀取預取和緩存部分文件時，不需要同Namenode進行交互，可直接讀取對應小文件，也