基于Hadoop的分布式副本管理策略研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)趨勢(shì)，如何對(duì)海量數(shù)據(jù)進(jìn)行高效的存取已經(jīng)成了計(jì)算機(jī)領(lǐng)域的一個(gè)研究熱點(diǎn)。HDFS(HadoopDistributed File System)是Hadoop的一個(gè)分布式文件系統(tǒng)，它可以部署運(yùn)行在普通的硬件服務(wù)器上。HDFS具有高可靠性，支持海量數(shù)據(jù)的高效存取。HDFS放開了部分POSIX約束，支持以流的形式讀寫數(shù)據(jù)。
　　HDFS仍是一個(gè)處在發(fā)展和完善階段的云存儲(chǔ)系統(tǒng)，現(xiàn)有的數(shù)據(jù)管理

2、策略依然存在許多不足之處。HDFS現(xiàn)有的副本管理策略在創(chuàng)建副本時(shí)，創(chuàng)建的副本個(gè)數(shù)是固定的;創(chuàng)建的副本在選取存儲(chǔ)節(jié)點(diǎn)Datanode時(shí)，采用的是隨機(jī)選取的算法?，F(xiàn)有的副本管理策略存在系統(tǒng)存儲(chǔ)空間的浪費(fèi)，集群負(fù)載不均衡，性能不高等問題。
　　本文通過對(duì)HDFS分布式文件系統(tǒng)的存儲(chǔ)原理進(jìn)行分析，結(jié)合云存儲(chǔ)領(lǐng)域的相關(guān)知識(shí)、理論，對(duì)HDFS現(xiàn)有的副本管理策略進(jìn)行了改進(jìn)。主要包括以下方面的內(nèi)容:
　　(1)對(duì)HDFS默認(rèn)的副本放置策略進(jìn)

3、行了改進(jìn)。HDFS默認(rèn)的數(shù)據(jù)放置策略是隨機(jī)選取Datanode節(jié)點(diǎn)進(jìn)行副本存放。然而集群中每個(gè)Datanode節(jié)點(diǎn)的性能和負(fù)載是不一致的，集群中有些節(jié)點(diǎn)處于高負(fù)荷狀態(tài)，有些節(jié)點(diǎn)處于低負(fù)荷狀態(tài)，有一些節(jié)點(diǎn)是新加入的;隨機(jī)的選取Datanode節(jié)點(diǎn)進(jìn)行副本存放，集群容易產(chǎn)生負(fù)載不均衡。改進(jìn)后的副本放置策略通過對(duì)Datanode節(jié)點(diǎn)的性能和負(fù)載進(jìn)行分析，根據(jù)得到的權(quán)值選擇最優(yōu)的節(jié)點(diǎn)進(jìn)行副本的放置。
　　(2)對(duì)HDFS默認(rèn)的副本創(chuàng)建策略

4、進(jìn)行了改進(jìn)。改進(jìn)后的策略通過對(duì)文件最近一段時(shí)間的訪問熱度和訪問趨勢(shì)進(jìn)行統(tǒng)計(jì)分析，根據(jù)文件的訪問熱度值和訪問趨勢(shì)動(dòng)態(tài)的調(diào)整副本的個(gè)數(shù);根據(jù)系統(tǒng)的可靠性要求和副本的可用性計(jì)算副本的默認(rèn)創(chuàng)建個(gè)數(shù)。改進(jìn)后的策略使得集群的整體性能和數(shù)據(jù)處理效率得到了進(jìn)一步的提升。
　　(3)搭建HDFS分布式存儲(chǔ)環(huán)境，分別對(duì)改進(jìn)的副本放置策略和副本創(chuàng)建策略進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的副本管理策略充分利用了集群中各個(gè)Datanode節(jié)點(diǎn)的性能，提高了集