信息存儲系統(tǒng)中重復數(shù)據(jù)刪除技術(shù)的研究.pdf

1、重復數(shù)據(jù)刪除技術(shù)是網(wǎng)絡(luò)存儲系統(tǒng)中一種數(shù)據(jù)無損壓縮的解決方案，可以有效地抑制數(shù)據(jù)存儲開銷過快的增長，縮減存儲系統(tǒng)的構(gòu)建以及運營管理的成本。在數(shù)據(jù)信息量迅猛增長的背景下，重復數(shù)據(jù)刪除技術(shù)得到了學術(shù)界和產(chǎn)業(yè)界廣泛的關(guān)注。但重復數(shù)據(jù)刪除領(lǐng)域仍然存在諸多技術(shù)問題，如提高數(shù)據(jù)壓縮率，減少處理時間，優(yōu)化數(shù)據(jù)可靠性等方面。針對上述存在的問題，論文從重復數(shù)據(jù)刪除處理方法，重復數(shù)據(jù)刪除處理中的數(shù)據(jù)可靠性問題以及存儲后臺的數(shù)據(jù)分布策略三個方面展開了深入的研究

2、。
　　通過理論分析模型以及現(xiàn)實數(shù)據(jù)集的實測分析，對影響重復數(shù)據(jù)刪除處理效果的因素展開了研究。目標數(shù)據(jù)的重復特征對重復數(shù)據(jù)刪除處理的效果具有較大影響，因此，提出了一種基于重復特征的重復數(shù)據(jù)刪除策略，對數(shù)據(jù)壓縮率以及處理時間開銷進行優(yōu)化。該策略主要包括基于語義的數(shù)據(jù)分組策略和漸進式數(shù)據(jù)分割粒度判定法?；谡Z義的數(shù)據(jù)分組策略根據(jù)語義信息對數(shù)據(jù)的重復特征以及相似性進行判別并完成對目標數(shù)據(jù)的分組操作。漸進式數(shù)據(jù)分割粒度判定法是以數(shù)據(jù)分組為

3、操作單位，根據(jù)重復特征對數(shù)據(jù)分割策略進行合適地設(shè)置。實驗測試表明基于重復特征的重復數(shù)據(jù)刪除策略相對于其它重復數(shù)據(jù)刪除解決方案，在數(shù)據(jù)壓縮率以及處理時間開銷上獲得了更加優(yōu)異的綜合性能。
　　針對重復數(shù)據(jù)刪除處理中數(shù)據(jù)可靠性的問題提出了一種最優(yōu)冗余度計算模型，根據(jù)數(shù)據(jù)的引用熱度提高目標數(shù)據(jù)的可靠性。為了將該理論模型應(yīng)用到現(xiàn)實存儲系統(tǒng)中，采用抽取數(shù)據(jù)單元樣本空間計算經(jīng)驗數(shù)值的方法對理論模型進行了可行性優(yōu)化，并提出一種基于引用熱度的數(shù)據(jù)冗

4、余策略。該數(shù)據(jù)冗余策略根據(jù)數(shù)據(jù)單元的相關(guān)屬性（數(shù)據(jù)單元的大小以及引用熱度）配置最優(yōu)的冗余度，確保目標數(shù)據(jù)集使用最小的存儲開銷獲得最優(yōu)的數(shù)據(jù)可靠性。仿真實驗驗證了基于引用熱度的數(shù)據(jù)冗余策略的可行性和有效性。
　　針對當前數(shù)據(jù)分布策略中靈活性不足的問題，提出了一種基于容量感知的數(shù)據(jù)分布策略，以改善在物理節(jié)點間存儲資源不相等的情況下存儲負載的均衡程度。該策略提供了兩種情況下的數(shù)據(jù)分布策略解決方案。在不考慮數(shù)據(jù)冗余度情況下，提出了一種基于