分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)重構(gòu)優(yōu)化算法.pdf

1、分布式存儲(chǔ)系統(tǒng)以其設(shè)備廉價(jià)并易于擴(kuò)展的優(yōu)點(diǎn)已經(jīng)成為大數(shù)據(jù)存儲(chǔ)的一種重要方式。為維持?jǐn)?shù)據(jù)可靠性，分布式存儲(chǔ)系統(tǒng)通過存儲(chǔ)部分冗余數(shù)據(jù)以保證系統(tǒng)在發(fā)生存儲(chǔ)節(jié)點(diǎn)故障時(shí)可以自發(fā)地完成數(shù)據(jù)修復(fù)。當(dāng)節(jié)點(diǎn)發(fā)生故障導(dǎo)致其存儲(chǔ)的數(shù)據(jù)失效時(shí)，通常在系統(tǒng)中另擇一個(gè)新節(jié)點(diǎn)再生已失效的數(shù)據(jù)來維持系統(tǒng)中數(shù)據(jù)文件隨時(shí)可用。
　　與保存文件的多個(gè)副本或使用糾刪碼進(jìn)行冗余存儲(chǔ)相比，由再生碼生成冗余數(shù)據(jù)的容錯(cuò)方案不但對(duì)存儲(chǔ)節(jié)點(diǎn)故障擁有更強(qiáng)的抵抗能力，還可以為系統(tǒng)提供更

2、低的存儲(chǔ)開銷和帶寬開銷。目前對(duì)再生碼的研究多集中于編碼參數(shù)設(shè)定以及編碼實(shí)現(xiàn)方式，很少考慮實(shí)際系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)異質(zhì)性和帶寬異質(zhì)性對(duì)再生過程的時(shí)間開銷以及成功率的影響。
　　本文在滿足再生碼修復(fù)性質(zhì)的前提下，通過理論分析和實(shí)驗(yàn)仿真研究了高性能再生過程的再生碼策略，具體工作如下：
　?、倩仡櫫藘煞N傳統(tǒng)分布式存儲(chǔ)容錯(cuò)方案，針對(duì)網(wǎng)絡(luò)編碼策略和再生碼策略的編碼理論和研究現(xiàn)狀進(jìn)行了詳細(xì)說明。
　?、跒槊鞔_再生碼實(shí)現(xiàn)過程中各項(xiàng)工作對(duì)再生

3、性能的影響，提出一種劃分方式，將再生過程按照時(shí)間邏輯分為數(shù)據(jù)分布、數(shù)據(jù)編解碼，數(shù)據(jù)傳輸和數(shù)據(jù)重建四個(gè)階段，并針對(duì)數(shù)據(jù)傳輸階段介紹了的一種基于樹形拓?fù)涞膫鬏敺绞健?br>　?、鄯治隽藰湫瓮?fù)鋫鬏敺绞降木窒扌裕⑨槍?duì)該局限性以及實(shí)際分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)性能的差異，提出了一種基于節(jié)點(diǎn)能力感知數(shù)據(jù)傳輸路徑構(gòu)建方法，該方法在選擇高可靠性供應(yīng)節(jié)點(diǎn)承擔(dān)數(shù)據(jù)傳輸任務(wù)的同時(shí)還可以避免可用帶寬低的傳輸鏈路，保證了再生過程數(shù)據(jù)傳輸高速完成，減少了無效數(shù)據(jù)傳輸