基于HDFS的文件訪問(wèn)性能優(yōu)化技術(shù)研究.pdf

1、Hadoop作為優(yōu)秀的基礎(chǔ)云平臺(tái)架構(gòu)被廣泛應(yīng)用于云計(jì)算應(yīng)用和大數(shù)據(jù)計(jì)算處理，其分布式文件系統(tǒng) HDFS為海量數(shù)據(jù)提供了基礎(chǔ)存儲(chǔ)服務(wù)。隨著信息數(shù)據(jù)總量和類型的急劇增加，如何滿足海量數(shù)據(jù)的高效訪問(wèn)和高可靠性存儲(chǔ)成為Hadoop存儲(chǔ)系統(tǒng)性能優(yōu)化研究的關(guān)鍵問(wèn)題。
　　本文基于 Hadoop集群中 HDFS的文件存儲(chǔ)及管理模式探討了的文件訪問(wèn)性能優(yōu)化技術(shù)，重點(diǎn)圍繞 HDFS小文件和冗余副本動(dòng)態(tài)更新兩個(gè)問(wèn)題展開(kāi)了深入研究。在展開(kāi)研究工作前，首

2、先深入研究并分析了 Hadoop架構(gòu)下分布式存儲(chǔ)系統(tǒng)的原理及特點(diǎn)，并重點(diǎn)論述了已有的 HDFS小文件訪問(wèn)性能優(yōu)化和冗余副本優(yōu)化技術(shù)，總結(jié)前人研究成果的優(yōu)點(diǎn)和應(yīng)用價(jià)值，結(jié)合訪問(wèn)負(fù)載特征和應(yīng)用實(shí)際，指出其各自的局限性。本文主要的研究?jī)?nèi)容和貢獻(xiàn)包括：
　　一、針對(duì) HDFS的小文件問(wèn)題，提出了基于歷史數(shù)據(jù)的小文件預(yù)取方法，主要包含元數(shù)據(jù)推送和數(shù)據(jù)塊預(yù)取兩部分。元數(shù)據(jù)推送由 NameNode進(jìn)行，推送的依據(jù)為歷史訪問(wèn)記錄中所體現(xiàn)的數(shù)據(jù)訪問(wèn)

3、的重復(fù)性和時(shí)間局部性特征，當(dāng)歷史數(shù)據(jù)中存在與當(dāng)前讀請(qǐng)求重復(fù)的訪問(wèn)記錄時(shí)，即觸發(fā)元數(shù)據(jù)推送。數(shù)據(jù)塊預(yù)取由DataNode進(jìn)行，客戶端接收到推送的元數(shù)據(jù)后，將其存儲(chǔ)到節(jié)點(diǎn)本地的元數(shù)據(jù)緩存，緩存能夠?yàn)楹罄m(xù)讀請(qǐng)求提供更快速的元數(shù)據(jù)請(qǐng)求響應(yīng)，并在后臺(tái)觸發(fā)預(yù)取模塊，將緩存中元數(shù)據(jù)所指向的數(shù)據(jù)塊提前預(yù)取到 DataNode。實(shí)驗(yàn)結(jié)果證明，基于歷史數(shù)據(jù)的小文件預(yù)取方法確實(shí)能夠縮短大量小文件讀請(qǐng)求的響應(yīng)時(shí)間，滿足存儲(chǔ)系統(tǒng)訪問(wèn)性能的優(yōu)化需求。
　　二

4、、針對(duì)冗余副本動(dòng)態(tài)更新問(wèn)題，提出了基于元數(shù)據(jù)緩存的動(dòng)態(tài)副本多播算法，主要包含副本生長(zhǎng)退化和元數(shù)據(jù)多播更新兩部分。副本生長(zhǎng)退化以文件訪問(wèn)熱度為依據(jù)，元數(shù)據(jù)緩存實(shí)時(shí)記錄本地客戶端對(duì)文件及數(shù)據(jù)塊的訪問(wèn)次數(shù)并結(jié)合時(shí)間周期計(jì)算熱度，指導(dǎo)DataNode數(shù)據(jù)副本進(jìn)行動(dòng)態(tài)增減。元數(shù)據(jù)多播更新以產(chǎn)生副本變化的DataNode作為多播源，依據(jù)集群拓?fù)浣Y(jié)構(gòu)采用層次化的多播形式傳遞元數(shù)據(jù)更新消息，減輕 NameNode負(fù)載，加快更新消息傳遞。實(shí)驗(yàn)結(jié)果證明，基