面向海量小文件存取的HDFS優(yōu)化研究.pdf

1、Hadoop是近幾年發(fā)展比較成熟的云計算平臺之一，憑借其可靠，高效，可伸縮的特性在互聯網領域得到了廣泛應用，比如 Yahoo、Amazon、Facebook等公司成功地應用了Hadoop，同時也得到了學術界的普遍關注。HDFS作為Hadoop的分布式文件系統有著高可用的特性，但它是為大文件的存儲與計算而設計，卻忽略了對小文件處理的優(yōu)化，當大量的小文件存儲到HDFS中就會產生大量的元數據，因而占用NameNode大量的內存。而對海量小文件

2、高并發(fā)的訪問使得HDFS的NameNode和DataNode都負載過大。這使得HDFS不適合存儲小文件。
　　針對HDFS在小文件處理的不足，本文提出了一個基于HDFS的中間件HMFS來解決HDFS的小文件問題。它由用戶接口層、任務層和存儲層組成。能夠很好的實現對小文件的上傳、下載、修改、刪除操作。并且它所有的任務都在后臺運行，通過讀寫分離機制大大地提高文件的上傳效率，通過緩存預取機制提高了文件的下載效率。
　　在小文件合并

3、的優(yōu)化方面，本文提出了SmartFS。SmartFS通過分析小文件訪問日志，獲取用戶訪問行為，建立文件關聯概率模型，并根據基于文件關聯關系的合并算法將小文件組裝成大文件后存至HDFS；當從HDFS獲取文件時，根據基于文件關聯關系的預取算法來提高文件訪問效率，同時采用基于預取的緩存替換算法Prefetching-LFU來管理緩存空間，提高文件的命中率。
　　最后，本文將HMFS與SmartFS的優(yōu)點相結合，設計并實現一個基于HDFS

4、的通用高效的小文件系統，該系統使用 HMFS進行在線的文件處理，如文件上傳、下載、更新及刪除。并使用SmartFS來分析歷史的訪問日志得到文件關聯，再將相關聯的文件重新合并上傳到 HDFS中。在預取與緩存策略上，它結合HMFS與SmartFS兩種情況進行預取與緩存，保證了各種情況的高效運行。
　　實驗表明該系統的上傳，下載速度相對HDFS有極大的提升，且減少了HDFS元數據量，使得 HDFS能夠支持海量的小文件處理，并且它能將相關