基于重復(fù)數(shù)據(jù)消除的大型數(shù)據(jù)庫災(zāi)備系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著經(jīng)濟(jì)全球化的深入以及行業(yè)信息化程度的不斷提升，國際性大企業(yè)不斷涌現(xiàn)，企業(yè)處理數(shù)以億萬計的用戶產(chǎn)生的爆炸性的生產(chǎn)數(shù)據(jù)時，數(shù)據(jù)中心的數(shù)據(jù)傳輸和存儲能力就顯得尤為重要。統(tǒng)計數(shù)據(jù)表明，這些新增的海量數(shù)據(jù)中，存在著很多相似甚至相同的數(shù)據(jù)（稱為冗余數(shù)據(jù)），為此，如何消除冗余信息，節(jié)省傳輸帶寬，節(jié)約存儲空間，以此減輕數(shù)據(jù)中心的負(fù)擔(dān)，已經(jīng)成為亟待解決的關(guān)鍵問題。為此，提出了重復(fù)數(shù)據(jù)消除技術(shù)，目前，采用重復(fù)數(shù)據(jù)消除技術(shù)以改進(jìn)存儲中心數(shù)據(jù)存儲效率、性能

2、，具有重要的理論價值和現(xiàn)實意義。
　　本論文在對備份系統(tǒng)消冗相關(guān)技術(shù)深入研究的基礎(chǔ)上，主要完成了如下的工作：
　　首先創(chuàng)新的提出一種基于磁盤的消冗存儲系統(tǒng)的加密方案（ESDS），從加密算法的三個參與方的加密流程展開闡述，并對各種可能遇到攻擊者時的安全性進(jìn)行分析，此算法在用戶對傳輸?shù)臄?shù)據(jù)信息有加密的需求時，能夠提供數(shù)據(jù)可靠性的保障；
　　其次對大型災(zāi)備系統(tǒng)的結(jié)構(gòu)和功能進(jìn)行了設(shè)計，并創(chuàng)新的提出了一種綜合使用初篩——基于局部

3、性對數(shù)據(jù)進(jìn)行存儲、基于慣性原理對元數(shù)據(jù)進(jìn)行預(yù)讀——寫緩沖的機(jī)制來提高消冗的效率的策略。
　　最后在測試環(huán)節(jié)設(shè)計了一種獨創(chuàng)的適用于用于對本文消冗模塊進(jìn)行測試的測試數(shù)據(jù)集的構(gòu)造方法。設(shè)計了包含多個對照系的實驗方法對不同消冗方式進(jìn)行了實驗，并對實驗數(shù)據(jù)進(jìn)行分析得出了最終結(jié)論，最后設(shè)計了包含多個對照系的測試流程，并對測試數(shù)據(jù)進(jìn)行分析得出最終結(jié)論。
　　實驗結(jié)果表明，本論文設(shè)計的消冗災(zāi)備模塊同時支持定長塊和基于內(nèi)容分塊消冗方式，備份速