HDFS分布式元數(shù)據(jù)管理框架的研究與實現(xiàn).pdf

1、近年來，云計算不論是在國內(nèi)還是在國外都受到了越來越多的關(guān)注。而Hadoop則被認為是當前主流的、使用最廣泛的云計算開源平臺。作為Hadoop的首選底層存儲系統(tǒng)，HDFS(Hadoop Distributed File System)以其能夠可靠的存儲大規(guī)模數(shù)據(jù)的能力極大的推進了Hadoop的發(fā)展。然而，HDFS采用單節(jié)點管理雖然可以降低系統(tǒng)的復雜度，但是嚴重影響了系統(tǒng)的可靠性，并限制了系統(tǒng)的擴展性。對于HDFS的“單點”問題，不論在社區(qū)

2、還是在企業(yè)都提出了一些解決方案，然而至今沒有一個被大家廣泛認同的解決方案。
　　本文在仔細剖析當前主流解決方案優(yōu)缺點的前提下，提出了一種HDFS分布式元數(shù)據(jù)管理框架(Distributed meta-data Management Framework，DDM)。通過使用分布式元數(shù)據(jù)管理框架不僅能夠解決HDFS的“單點”問題，還能夠有效提高文件系統(tǒng)的并行性與吞吐量。為了能夠更好的適應(yīng)當前的云環(huán)境中大規(guī)模數(shù)據(jù)處理和海量節(jié)點管理的要求，

3、本文設(shè)計的元數(shù)據(jù)管理框架摒棄了HDFS將命名空間與文件塊元數(shù)據(jù)統(tǒng)一管理的設(shè)計思路，而采用分層管理的思想，將命名空間的管理與文件塊元數(shù)據(jù)的管理放在不同的層中，提高了HDFS的靈活性與擴展性。之后本文給出了HDFS這兩類最重要元數(shù)據(jù)的分布算法與調(diào)整策略。在此基礎(chǔ)之上，針對分布式框架設(shè)計了相應(yīng)的管理機制，包括節(jié)點的加入與退出，副本的管理與恢復以及元數(shù)據(jù)的同步與遷移等，并針對HDFS設(shè)計上的一些不足做出了改進，以保證分布式元數(shù)據(jù)管理框架的正確性

4、，高效性和可用性。在分析HDFS關(guān)鍵代碼的基礎(chǔ)上，分布式元數(shù)據(jù)管理框架最大程度的利用了HDFS已有的代碼和機制，并對部分代碼進行重構(gòu)以提高其可讀性、合理性并降低分布式管理框架的耦合性。
　　最后，通過實驗測試了DMM對HDFS讀寫性能，啟動性能以及并行性的影響，并測試了分布式元數(shù)據(jù)管理框架的可用性與擴展性。實驗結(jié)果表明，分布式元數(shù)據(jù)管理框架雖然在讀寫性能和啟動性能上略遜于HDFS，但是在并行性、可用性與擴展性上都優(yōu)于HDFS，能更