Hadoop元數(shù)據(jù)服務(wù)器讀負(fù)載遷移研究.pdf

1、隨著信息化的提高，數(shù)據(jù)量也越來越大，人們對存儲資源的需求越來越大。本地文件系統(tǒng)已經(jīng)不能滿足人們的需求，為了解決人們對性能、容量以及伸縮性的需求，分布式文件系統(tǒng)應(yīng)運(yùn)而生。
　　HDFS是一個典型的分布式文件系統(tǒng)，通過分析HDFS的特點(diǎn)，得出在大量小文件讀寫時，Namenode將面臨巨大的負(fù)載，成為制約系統(tǒng)性能的瓶頸。結(jié)合Namenode主備服務(wù)器元數(shù)據(jù)結(jié)構(gòu)幾乎一致的特點(diǎn)，減輕主服務(wù)器負(fù)載。采用動態(tài)哈希算法來分布元數(shù)據(jù)，將相同哈希值的

2、文件聚集在同一條目中，作為一個遷移單位，細(xì)粒度的進(jìn)行管理。結(jié)合歷史負(fù)載和當(dāng)前負(fù)載，采用動態(tài)均衡算法，來確定遷移的條目，保證主備節(jié)點(diǎn)負(fù)載相對均衡。利用客戶端進(jìn)行被動更新哈希表?xiàng)l目，來保證哈希表的同步。
　　測試結(jié)果表明，采用了讀負(fù)載遷移的設(shè)計后，Namenode性能有了明顯提升，隨著并發(fā)訪問數(shù)量的增加，系統(tǒng)性能有了明顯優(yōu)勢，對于1000客戶端以上的并發(fā)讀訪問，Namenode性能提高15％。在高并發(fā)下，對于小文件訪問，性能提高1倍。