Hadoop平臺下文件副本存儲改進及小文件合并存取優(yōu)化的研究.pdf

1、分類號密級UDC學校代碼10497學位論文題目Hadoop平臺下文件副本存儲改進及小文件合并存取優(yōu)化的研究英文ResearchofImprovingStageofReplicaSmallFiles題目MergingAccessOptimizationonHadoopPlatfm研究生姓名李宇文姓名李玉強職稱副教授學位博士單位名稱計算機科學與技術學院郵編430063申請學位級別碩士學科專業(yè)名稱軟件工程論文提交日期2015年04月論文答辯日

2、期2015年05月學位授予單位武漢理工大學學位授予日期答辯委員會主席評閱人2015年5月指導教師武漢理工大學碩士學位論文I摘要近年來，“大數(shù)據(jù)”技術已經(jīng)逐漸成為學術界和工業(yè)界關注的熱點問題。而Hadoop作為處理大數(shù)據(jù)的開發(fā)平臺之一，不僅給我們帶來了廉價的處理大數(shù)據(jù)的能力，同時還實現(xiàn)了代碼開源化。其中，HDFS作為Hadoop最底層的分布式文件系統(tǒng)，存儲著集群中所有存儲節(jié)點的數(shù)據(jù)，它除了為MapReduce提供了高效的讀寫性能外，還有著

3、高容錯性和高吞吐量的特點。但是，HDFS對于這種多副本的存儲設計采用了串行流水線式的存儲方式，其制約了副本在HDFS中的存儲性能。同時，隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，海量小文件的數(shù)據(jù)急劇增多，Hadoop秉承存儲海量大文件的設計理念，在海量小文件的處理上嚴重制約了其存取性能。為此，本文針對上述兩個問題展開了深入的研究，主要的工作內容及創(chuàng)新點總結如下：本文針對HDFS中副本的串行存儲方式所表現(xiàn)出來存儲效率低下的問題，并根據(jù)相關研究人員提出的并

4、行化存儲方法，提出一種新的設計方案。結合該方案的優(yōu)化設計思想，深入詳細地分析了HDFS下的存儲架構，以及相關類和數(shù)據(jù)塊的結構，找到需要改進之處。通過創(chuàng)建與pipeline管道中所有DataNode節(jié)點的socket連接，實現(xiàn)了文件副本的并行存儲。針對海量小文件嚴重制約Hadoop的IO性能的問題，本文提出在基于Hadoop下自帶的SequenceFile合并方案的基礎上，實現(xiàn)基于B樹索引的小文件讀取方案，在提高小文件查找效率的同時，降低

5、了小文件的元數(shù)據(jù)對NameNode節(jié)點內存空間的占用率，從而提高小文件的讀取效率。在該方案的實現(xiàn)中，本文首先給出了B樹索引結構的設計。其次，針對B樹索引的構建與查找功能做了詳細的分析與實現(xiàn)。最后，結合對HDFS文件讀取過程的分析，實現(xiàn)了SequenceFile下基于B樹索引的小文件讀取過程。最后，搭建Hadoop系統(tǒng)集群，通過一系列的仿真實驗，驗證了本文所提出的兩個設計方案在文件的存儲速率和小文件的讀取速率上是有效的。關鍵字：關鍵字：H