基于HDFS的海量小文件讀寫策略研究.pdf

1、當(dāng)前網(wǎng)絡(luò)信息技術(shù)與云計算技術(shù)迅猛發(fā)展，互聯(lián)網(wǎng)內(nèi)容由網(wǎng)站管理人員主導(dǎo)逐漸過渡為用戶主導(dǎo)，這種變化使得人們可以隨時隨地通過互聯(lián)網(wǎng)服務(wù)獲取或者生成海量的數(shù)據(jù)，如何有效地管理這些個人或公共數(shù)據(jù)已成為當(dāng)務(wù)之急。傳統(tǒng)的存儲架構(gòu)在當(dāng)前互聯(lián)網(wǎng)數(shù)據(jù)存儲場景中表現(xiàn)較差，且其擴展性差、數(shù)據(jù)安全性低、維護與管理成本高、災(zāi)備能力差等缺陷日益明顯。將個人數(shù)據(jù)集中存儲至云服務(wù)中統(tǒng)一管理的分布式云存儲系統(tǒng)受到IT界的廣泛關(guān)注，用戶無需在本地持有大量的存儲空間，只需要通

2、過智能設(shè)備就能夠便捷地獲取到云端數(shù)據(jù)。這種分布式的云存取結(jié)構(gòu)可以很好地解決上述問題，并且滿足大規(guī)模用戶并發(fā)訪問的需求。
　　Hadoop是一個可部署在廉價設(shè)備上的分布式開源平臺，其核心之一的HDFS作為一種新型的云存儲平臺，能夠很好地解決爆炸性數(shù)據(jù)的存儲與管理難題。本文主要針對海量小文件讀寫這一場景，對分布式文件系統(tǒng)HDFS進行了詳細(xì)分析，并關(guān)于HDFS存在的小文件問題、節(jié)點選擇問題和讀取緩存問題，提出了基于Redis集群的HDF

3、S改進方案RCHDFS。
　　首先，從基本系統(tǒng)組成與工作原理方面對GFS、MooseFS、HDFS等典型的分布式存儲系統(tǒng)進行研究，分析HDFS系統(tǒng)的主要組件與依賴關(guān)系，深入研究了NameNode、DataNode、DFSClient的工作原理及對應(yīng)源碼實現(xiàn)。
　　然后，通過對大量中外文獻的分析與相關(guān)技術(shù)的研究，針對HDFS的固有問題，分析了已有的解決方案，隨后提出了改進方案，分為3個部分。一是提出了在DataNode節(jié)點中部

4、署Redis集群服務(wù)的方法，使得Redis服務(wù)可以承擔(dān)大部分NameNode的管理任務(wù)，集群的內(nèi)存使用可以均勻地分布在不同的DataNode節(jié)點上，緩解NameNode的內(nèi)存消耗和NameNode并發(fā)壓力;二是提出了基于節(jié)點處理能力和數(shù)據(jù)塊在節(jié)點中分布均衡性的最優(yōu)讀寫節(jié)點選擇方法，優(yōu)化了HDFS機架感知策略，既保證了數(shù)據(jù)塊的均衡，又降低了文件讀寫時延;三是提出了基于混合緩存的中小文件讀取方法，在Redis中緩存熱點小文件，在Client