面向冷數(shù)據(jù)存儲(chǔ)的分布式編碼技術(shù)研究與實(shí)現(xiàn).pdf

1、自互聯(lián)網(wǎng)誕生以來(lái)，尤其是最近幾年移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計(jì)算的發(fā)展，催生了網(wǎng)絡(luò)數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)。這給存儲(chǔ)系統(tǒng)造成了極大的壓力。為保證數(shù)據(jù)的可靠性，存儲(chǔ)系統(tǒng)通常采用多副本的方式進(jìn)行存儲(chǔ)，造成了大量的數(shù)據(jù)冗余。使用糾刪碼做數(shù)據(jù)容錯(cuò)可以有效降低數(shù)據(jù)冗余，但是數(shù)據(jù)可用性會(huì)有一定程度的降低。這就造成了某種程度上的矛盾。
　　對(duì)存儲(chǔ)系統(tǒng)內(nèi)部的數(shù)據(jù)按照使用頻度進(jìn)行分類，劃分為冷數(shù)據(jù)和熱數(shù)據(jù)，然后對(duì)冷數(shù)據(jù)通過(guò)糾刪碼的方式進(jìn)行存儲(chǔ)。這在保證了數(shù)據(jù)可用

2、性的同時(shí)，極大的降低了系統(tǒng)的數(shù)據(jù)冗余。系統(tǒng)設(shè)計(jì)上，將數(shù)據(jù)節(jié)點(diǎn)按照存儲(chǔ)空間和計(jì)算能力，劃分為多個(gè)虛擬節(jié)點(diǎn)，然后將虛擬節(jié)點(diǎn)通過(guò)一致性哈希分散到一個(gè)哈希環(huán)上，構(gòu)造一個(gè)全對(duì)稱、去中心的哈希環(huán)，以此達(dá)到數(shù)據(jù)分布和任務(wù)調(diào)度的均勻。編碼、解碼過(guò)程中，通過(guò)使用Bit-Matrix技術(shù)，降低了編碼矩陣中1的個(gè)數(shù)，有效的減少了編碼、解碼過(guò)程中的XOR運(yùn)算次數(shù)。同時(shí)，解碼隊(duì)列技術(shù)的引進(jìn)，通過(guò)對(duì)編碼、解碼過(guò)程中的執(zhí)行步驟進(jìn)行有效的規(guī)劃，尤其是解碼過(guò)程中后續(xù)解碼