基于Pyramid糾刪碼的云存儲容災(zāi)系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、在信息爆炸式增長的今天，信息即意味著價值，如何安全可靠的存儲信息無疑備受人們的關(guān)注。云存儲系統(tǒng)憑借其高性能、高擴展、高可用、大容量等特點而得到廣泛的應(yīng)用。云存儲系統(tǒng)通常結(jié)合使用三副本鏡像機制和糾刪碼技術(shù)來保證其數(shù)據(jù)的可靠及性可用性，對于三副本冗余機制而言，當同一數(shù)據(jù)塊的三個副本鏡像同時丟失時，必然會造成文件的損壞，而如果增加副本數(shù)目則會降低系統(tǒng)的存儲空間利用率;同時云存儲系統(tǒng)采用的RS糾刪碼由于自身的編碼特性，其在進行故障譯碼恢復(fù)時所需

2、讀取的數(shù)據(jù)塊的數(shù)目是恒定的，如果能減少其在進行少量數(shù)據(jù)塊恢復(fù)時的數(shù)據(jù)讀取量，則不僅能加快其故障譯碼恢復(fù)速度，亦能降低故障譯碼恢復(fù)時的帶寬占用量，從而提高存儲系統(tǒng)的整體性能。本文正是由此出發(fā)，對其進行了深入的研究，最終基于Pyramid碼設(shè)計了云存儲容災(zāi)系統(tǒng)，其主要工作內(nèi)容包括如下幾個方面：
　　首先，在不增加額外存儲空間的基礎(chǔ)之上，本文通過使用異或校驗數(shù)據(jù)塊對三副本鏡像機制進行了改進，并將其稱為高容錯三副本鏡像機制。當某些原始數(shù)據(jù)

3、塊的三個鏡像備份數(shù)據(jù)塊同時丟失時，其亦能恢復(fù)丟失數(shù)據(jù)塊，因而和原三副本鏡像機制相比，高容錯三副本鏡像機制的容錯能力更強;同時校驗數(shù)據(jù)塊的計算僅使用異或運算，實現(xiàn)方式較為簡單。
　　其次，本文利用已有的Pyramid碼代替云存儲系統(tǒng)中通常使用的RS碼，從而有效的降低了單條塊故障譯碼恢復(fù)時的數(shù)據(jù)讀取量，加快了數(shù)據(jù)讀取速度，減少了故障恢復(fù)時的計算量。隨著對糾刪碼技術(shù)的深入研究，本文通過增加1個本地冗余校驗塊對Pyramid碼進行了改進，

4、提出了一種初步的編譯碼方案，該方案降低了兩塊故障恢復(fù)時數(shù)據(jù)存儲中心之間的數(shù)據(jù)傳輸量，加快了數(shù)據(jù)讀取速度，且改進后的Pyramid碼保持原Pyramid碼的編碼結(jié)構(gòu)，因而增加了故障恢復(fù)的譯碼方式。
　　最后，本文在Hadoop基礎(chǔ)之上，使用高容錯三副本鏡像機制和Pyramid碼，設(shè)計了云存儲容災(zāi)系統(tǒng)。該存儲容災(zāi)系統(tǒng)使用高容錯三副本鏡像機制編碼存儲熱數(shù)據(jù)文件，使用Pyramid碼對冷數(shù)據(jù)文件進行編碼存儲，同時根據(jù)用戶對數(shù)據(jù)文件的關(guān)注程