基于HDFS的社交網(wǎng)絡(luò)海量小文件存儲研究與實現(xiàn).pdf

1、信息技術(shù)的發(fā)展使其產(chǎn)生的數(shù)據(jù)呈爆炸式增長，傳統(tǒng)的存儲方式已難以勝任海量數(shù)據(jù)的存儲，尤其是海量小文件的存儲。由于海量小文件在元數(shù)據(jù)的管理、訪問性能等方面面臨巨大挑戰(zhàn)，因此成為熱點問題。本文在總結(jié)社交網(wǎng)絡(luò)數(shù)據(jù)訪問特點的基礎(chǔ)上，對存儲在Hadoop分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)中的海量社交網(wǎng)絡(luò)小文件進行了深入的研究，具體包括以下幾個方面：
　?。?）通過合并小文件方式減少所占Nam

2、eNode內(nèi)存，同時索引采用全局索引加局部塊索引相結(jié)合的索引方式。
　?。?）對于合并后仍小于數(shù)據(jù)塊大小的文件，提出二次合并方法。即首先將每個用戶的相關(guān)文件合并放入一個容器中，之后將小于數(shù)據(jù)塊大小的文件再次合并，保存至HDFS中。
　?。?）針對傳統(tǒng)的靜態(tài)合并文件方法不適應(yīng)用戶的動態(tài)訪問的局限，本文采用一種基于訪問日志的動態(tài)合并方法，其中考慮到合并文件的一致性，提出基于子集檢測的頻繁項挖掘算法，找出相關(guān)的小文件，從而實現(xiàn)小文

3、件的動態(tài)合并。動態(tài)合并方法將本文的研究目標(biāo)從文件層面轉(zhuǎn)換到用戶訪問層面，為小文件的合并提供了理論依據(jù)。
　?。?）動態(tài)合并可以預(yù)測用戶下一步的訪問，為預(yù)取小文件做引導(dǎo)，提高預(yù)取命中率。但預(yù)取和緩存的文件過多，便需要采用緩存置換算法。本文提出一種含循環(huán)單鏈表的緩存置換算法來清理緩存中的內(nèi)容，達到空出緩存空間的目的。
　　經(jīng)實驗驗證，對于合并后仍小于數(shù)據(jù)塊大小的相關(guān)文件，本文所提的方法可以達到減少訪問時間的目的，即改進HDFS順