HDFS的副本管理策略研究.pdf

1、云存儲(chǔ)作為云計(jì)算的存儲(chǔ)基礎(chǔ)正隨著大數(shù)據(jù)時(shí)代的到來發(fā)揮著越來越重要的作用。云存儲(chǔ)采用分布式架構(gòu)來應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)。如何在可靠性、高性能等方面提高云存儲(chǔ)的服務(wù)能力一直都是研究關(guān)注的熱點(diǎn)。云存儲(chǔ)中數(shù)據(jù)的安全依賴于它的副本技術(shù)。副本技術(shù)是一種數(shù)據(jù)管理機(jī)制，它將存儲(chǔ)的數(shù)據(jù)復(fù)制多份并分布在多個(gè)節(jié)點(diǎn)上，以此來提高云存儲(chǔ)系統(tǒng)的可靠性、負(fù)載均衡性、數(shù)據(jù)訪問效率。本文以提高云存儲(chǔ)的服務(wù)能力為目標(biāo)，主要圍繞分布式文件系統(tǒng) HDFS(Hadoop Distr

2、ibuted File System)的副本創(chuàng)建和放置策略進(jìn)行研究。
　　本文根據(jù)存儲(chǔ)系統(tǒng)中文件訪問的特點(diǎn)提出并設(shè)計(jì)了一種依據(jù)熱度動(dòng)態(tài)創(chuàng)建副本的算法。針對(duì) HDFS原有副本創(chuàng)建方式的不足，基于文件訪問熱度的副本創(chuàng)建算法通過綜合考慮每個(gè)文件的訪問頻率以及訪問時(shí)間的差異，使整個(gè) HDFS集群能夠動(dòng)態(tài)的調(diào)整每個(gè)文件的副本數(shù)。對(duì)于訪問頻率高的文件可以依據(jù)其特點(diǎn)為其增加副本的個(gè)數(shù)。增加的多個(gè)副本能夠更好地分散訪問請(qǐng)求，使整個(gè)系統(tǒng)不會(huì)出現(xiàn)熱點(diǎn)

3、故障，從而有效降低了系統(tǒng)出現(xiàn)單點(diǎn)故障的概率。另外由于有多個(gè)副本，可以使來自用戶的訪問請(qǐng)求就近選擇副本數(shù)據(jù)，從而有效降低網(wǎng)絡(luò)延遲。而對(duì)于訪問頻率低的數(shù)據(jù)，該算法可以在不影響其可用性的情況下為其分配更少的副本，這樣就能有效的降低集群的負(fù)載。
　　本文提出一種基于 SVM(Support Vector Machine)的副本放置策略模型SRPM(SVM Replica Placement Model)。為了能夠應(yīng)對(duì)超大規(guī)模數(shù)據(jù)的存儲(chǔ)以及

4、提高容錯(cuò)性，Hadoop分布式文件系統(tǒng) HDFS采用一種機(jī)架感知的多副本放置策略。但 HDFS在副本放置過程中沒有綜合考慮各節(jié)點(diǎn)服務(wù)器的差異性，這會(huì)導(dǎo)致集群出現(xiàn)負(fù)載失衡。并且 HDFS在選擇遠(yuǎn)程機(jī)架節(jié)點(diǎn)放置副本時(shí)采用隨機(jī)方式，而這有可能導(dǎo)致節(jié)點(diǎn)之間的網(wǎng)絡(luò)距離過長(zhǎng)，使得在節(jié)點(diǎn)之間傳輸數(shù)據(jù)會(huì)消耗大量時(shí)間。針對(duì)以上問題，副本放置策略模型(SRPM)基于SVM通過綜合考慮節(jié)點(diǎn)負(fù)載情況，節(jié)點(diǎn)硬件性能，節(jié)點(diǎn)網(wǎng)絡(luò)距離來為副本找到一個(gè)最佳的放置節(jié)點(diǎn)。實(shí)