基于冗余的云存儲(chǔ)數(shù)據(jù)分布策略研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的來臨，云存儲(chǔ)在面對(duì)海量的數(shù)據(jù)處理與挖掘中起到了關(guān)鍵的作用，傳統(tǒng)的云存儲(chǔ)系統(tǒng)為了保證數(shù)據(jù)可用性采用完全副本或者糾刪碼來加入數(shù)據(jù)冗余，這兩種數(shù)據(jù)冗余方法都存在一定的弊端，未能充分發(fā)揮數(shù)據(jù)中心和移動(dòng)終端的特點(diǎn)及服務(wù)需求，針對(duì)此種情況，結(jié)合上述兩種數(shù)據(jù)冗余方案設(shè)計(jì)了一種云存儲(chǔ)系統(tǒng)架構(gòu)及其數(shù)據(jù)分布策略。
　　通過深入分析完全副本和糾刪編碼這兩種數(shù)據(jù)冗余的優(yōu)缺點(diǎn)，設(shè)計(jì)了一種兩層結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)架構(gòu)，分為數(shù)據(jù)中心—超級(jí)節(jié)點(diǎn)。利用

2、糾刪碼節(jié)省存儲(chǔ)空間的特點(diǎn)，在數(shù)據(jù)中心采用糾刪碼的方式加入冗余；利用副本的高性能特點(diǎn)在超級(jí)節(jié)點(diǎn)采用副本方式為客戶端提供高效的數(shù)據(jù)訪問。在數(shù)據(jù)中心中針對(duì)文件糾刪編碼后形成的多個(gè)數(shù)據(jù)片，提出了一種基于負(fù)載均衡的節(jié)點(diǎn)排序數(shù)據(jù)片分布算法，這種數(shù)據(jù)片分布算法能夠快速定位到要讀取文件的數(shù)據(jù)分片，加快超級(jí)節(jié)點(diǎn)從數(shù)據(jù)中心存取數(shù)據(jù)的速度，并且有利于數(shù)據(jù)中心存儲(chǔ)數(shù)據(jù)片的分布均衡；在超級(jí)節(jié)點(diǎn)中，文件的多副本要根據(jù)實(shí)際訪問熱度完成副本到糾刪碼的轉(zhuǎn)換，提出了一種基

3、于歷史訪問信息多周期的熱度計(jì)算方法，根據(jù)訪問熱度動(dòng)態(tài)調(diào)整數(shù)據(jù)片的副本數(shù)，并對(duì)熱度更新時(shí)機(jī)、副本上下限、多余副本回收等問題做了較為深入的研究分析。
　　測(cè)試結(jié)果表明，在數(shù)據(jù)中心一側(cè)，本文提出的節(jié)點(diǎn)排序算法取數(shù)據(jù)片的時(shí)間較隨機(jī)和順序取數(shù)據(jù)片時(shí)間節(jié)省了70％以上，且節(jié)點(diǎn)之間的數(shù)據(jù)片分布差小于6%，實(shí)現(xiàn)了負(fù)載均衡；超級(jí)節(jié)點(diǎn)中，動(dòng)態(tài)副本管理算法和optorsim中LRU和LFU算法相比較，在提高性能的同時(shí)減少了50%的副本數(shù)目，節(jié)省了存儲(chǔ)空