一種基于糾刪碼的分布式備份技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的不斷發(fā)展,存儲(chǔ)系統(tǒng)中的數(shù)據(jù)量不斷增長(zhǎng)并呈海量形式發(fā)展。傳統(tǒng)的依賴本地服務(wù)器的存儲(chǔ)已經(jīng)無(wú)法滿足日益增長(zhǎng)的存儲(chǔ)需求,因此大規(guī)模的基于分布式存儲(chǔ)的數(shù)據(jù)中心正在迅速增長(zhǎng)。分布式存儲(chǔ)系統(tǒng)中,為了保障數(shù)據(jù)的可用性,容災(zāi)備份是關(guān)鍵問(wèn)題之一,這需要使用容錯(cuò)策略來(lái)實(shí)現(xiàn)系統(tǒng)的高可靠性,特別是存在大量的冷數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)中,冷數(shù)據(jù)的備份方式需要特別考慮。針對(duì)上述問(wèn)題,在介紹備份容錯(cuò)策略的基礎(chǔ)上,對(duì)分布式系統(tǒng)的編碼備份技術(shù)進(jìn)行了分

2、析和研究,并提出了一種基于編碼的分布式備份方案。
　　通過(guò)對(duì)現(xiàn)有編碼技術(shù)的研究,提出了一種基于糾刪碼的,適用于含大量冷數(shù)據(jù)分布式系統(tǒng)的一種備份架構(gòu)。這種架構(gòu)在保障數(shù)據(jù)可靠性的同時(shí),能夠提高系統(tǒng)的存儲(chǔ)利用率,提高系統(tǒng)的負(fù)載均衡性,縮短節(jié)點(diǎn)失效時(shí)的修復(fù)時(shí)間,增加系統(tǒng)靈活性。在系統(tǒng)設(shè)計(jì)上,為了使系統(tǒng)的負(fù)載更為均衡,將存儲(chǔ)節(jié)點(diǎn)中的物理節(jié)點(diǎn)根據(jù)需求分為多個(gè)虛擬節(jié)點(diǎn)并且排序后均勻分布在圓環(huán)結(jié)構(gòu)中,虛擬節(jié)點(diǎn)存儲(chǔ)用戶數(shù)據(jù)。同時(shí),根據(jù)用戶需求設(shè)計(jì)不

3、同的備份服務(wù)器,選擇存儲(chǔ)組,存儲(chǔ)組由多個(gè)不在同一物理節(jié)點(diǎn)的虛擬節(jié)點(diǎn)構(gòu)成,備份服務(wù)器中的數(shù)據(jù)經(jīng)過(guò)分割,糾刪碼編碼后,分散存儲(chǔ)到存儲(chǔ)組內(nèi)的虛擬節(jié)點(diǎn)上,不同的用戶需求可以選擇不同的糾刪碼。處理失效時(shí),數(shù)據(jù)塊通過(guò)解碼的方式恢復(fù)來(lái)保證其可靠性,物理節(jié)點(diǎn)通過(guò)多存儲(chǔ)組的并行恢復(fù)在保證可靠性的同時(shí),縮短恢復(fù)時(shí)間。
　　基于設(shè)計(jì)的模型,對(duì)基于糾刪碼的分布式備份方案進(jìn)行了仿真測(cè)試,通過(guò)節(jié)點(diǎn)選取和數(shù)據(jù)修復(fù)的測(cè)試,驗(yàn)證了編碼備份方案能保證數(shù)據(jù)的可靠性,相