基于分片聚合編碼機(jī)制的HDFS文件存儲(chǔ)研究.pdf

1、HDFS是Hadoop的旗艦級(jí)分布式文件系統(tǒng)，是云存儲(chǔ)的基礎(chǔ)架構(gòu)。HDFS采用了完全復(fù)制的存儲(chǔ)方案，該存儲(chǔ)方案下的數(shù)據(jù)存儲(chǔ)占用較多的存儲(chǔ)空間，數(shù)據(jù)塊-存儲(chǔ)節(jié)點(diǎn)映射信息占用較多的存儲(chǔ)內(nèi)存，對(duì)于惡意攻擊和數(shù)據(jù)惡意竊取幾乎沒有防御措施等。本文使用基于分片聚合編碼的存儲(chǔ)策略對(duì)HDFS數(shù)據(jù)存儲(chǔ)的冗余率問題、安全性問題、數(shù)據(jù)私密性問題進(jìn)行解決。分片聚合編碼的存儲(chǔ)策略具有很強(qiáng)的研究?jī)r(jià)值和實(shí)用價(jià)值。
　　 本文首先分析了原HDFS存儲(chǔ)中存在的問

2、題，并依據(jù)這些問題提出了分片聚合編碼的存儲(chǔ)策略。分片聚合編碼操作分為分片、編碼、聚合三個(gè)不同的步驟進(jìn)行：分片操作將文件分為大小相同的原數(shù)據(jù)片；編碼操作對(duì)一組原數(shù)據(jù)片采用STAR碼進(jìn)行編碼處理，產(chǎn)生編碼數(shù)據(jù)片，這一組原數(shù)據(jù)片和編碼數(shù)據(jù)片稱為一個(gè)數(shù)據(jù)段；聚合操作將每個(gè)數(shù)據(jù)段中相同位置的數(shù)據(jù)片聚合組成一個(gè)存儲(chǔ)數(shù)據(jù)塊。然后，在分片聚合編碼策略的基礎(chǔ)上本文實(shí)現(xiàn)了基于分片聚合編碼的HDFS文件存儲(chǔ)。在文件存儲(chǔ)過程中，系統(tǒng)對(duì)文件中的一組數(shù)據(jù)采用分片聚

3、合編碼操作后，采用均勻分布的分布原則將存儲(chǔ)數(shù)據(jù)塊分布存儲(chǔ)在系統(tǒng)的存儲(chǔ)結(jié)點(diǎn)上。同時(shí)本文對(duì)分片聚合編碼操作中涉及到的數(shù)據(jù)片的大小及一組原數(shù)據(jù)片的數(shù)量進(jìn)行了分析討論，選擇了適合系統(tǒng)的一組較優(yōu)的數(shù)據(jù)片大小及數(shù)量。最后實(shí)現(xiàn)了分片聚合解碼的數(shù)據(jù)塊動(dòng)態(tài)恢復(fù)和數(shù)據(jù)塊持久性恢復(fù)。在文件讀取過程中，數(shù)據(jù)塊動(dòng)態(tài)恢復(fù)通過對(duì)讀取失敗的數(shù)據(jù)塊所在組的其他可用數(shù)據(jù)塊采用分片、解碼和聚合操作，對(duì)讀取失敗的數(shù)據(jù)塊進(jìn)行恢復(fù)。對(duì)于存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)塊失效的情況，數(shù)據(jù)塊持久性