重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)優(yōu)化研究及SRC路由協(xié)議設(shè)計.pdf

1、數(shù)據(jù)量的爆炸式增長以及海量數(shù)據(jù)的大規(guī)模集中使得數(shù)據(jù)重復(fù)所導(dǎo)致的空間浪費問題越來越嚴(yán)重，這促使了重復(fù)數(shù)據(jù)消除技術(shù)的出現(xiàn)和發(fā)展。重復(fù)數(shù)據(jù)刪除概念很簡單，如果做一分鐘“電梯演講”:一本浩瀚的大不列顛百科叢書有4400萬個字符，共計3萬多英文單詞，所有的這一切都是由簡單的26個英文字母構(gòu)成。海量數(shù)據(jù)高達EB級別，重復(fù)數(shù)據(jù)刪除技術(shù)是發(fā)現(xiàn)海量數(shù)據(jù)中的“字母”，并將數(shù)據(jù)以“字母”的形式構(gòu)成，將重復(fù)的數(shù)據(jù)進行刪除以獲得更好的存儲空間性價比。
　　

2、 目前，重復(fù)數(shù)據(jù)刪除方面的研究工作已經(jīng)在消冗率提升、性能優(yōu)化以及分布式路由算法等方面取得了一系列有價值的成果，有效地推動了該技術(shù)的應(yīng)用。本文從研究熱點與瓶頸出發(fā)，主要研究面向服務(wù)質(zhì)量的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)，面向服務(wù)質(zhì)量就需要支持服務(wù)質(zhì)量的可調(diào)節(jié)[1]，研究目標(biāo)是建立一種基于多重策略設(shè)計及優(yōu)化的重復(fù)數(shù)據(jù)刪除技術(shù)體系。
　　 首先，本文重點研究了重復(fù)數(shù)據(jù)刪除的技術(shù)體系、關(guān)鍵技術(shù)和關(guān)鍵指標(biāo)，以此建立重復(fù)數(shù)據(jù)刪除原型系統(tǒng)，其中消冗引

3、擎作為重復(fù)數(shù)據(jù)刪除技術(shù)的關(guān)鍵核心，包括路由算法、數(shù)據(jù)塊倉庫、并行流水線控制、網(wǎng)絡(luò)通訊規(guī)約。在此基礎(chǔ)上對關(guān)鍵技術(shù)的模型進行分析，分析內(nèi)容包括索引模型分析、數(shù)據(jù)模型分析、性能模型分析，并從理論角度進行驗證。其次，路由算法是分布式重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)中的關(guān)鍵技術(shù)，但現(xiàn)有的路由算法無法滿足分布式系統(tǒng)在消冗效率、數(shù)據(jù)遷移及集群彈性上的要求，因此，本文設(shè)計了一種基于Chord的相似性路由檢測算法SRC(Similarity Routing Base

4、d on Chord)，并從理論角度完成算法的收斂性、一致性證明，進一步詳述了SRC路由算法的三個階段。最后，從三種關(guān)鍵技術(shù)的模型分析結(jié)果出發(fā)，提出具體技術(shù)策略改進、優(yōu)化方案，其中包括索引的分級優(yōu)化、基于數(shù)據(jù)價值的遷移優(yōu)化、基于讀請求重組的性能優(yōu)化。
　　 在系統(tǒng)實驗過程中，搭建了分布式集群環(huán)境，并選取測試數(shù)據(jù)集及實驗工具，完成讀寫并發(fā)響應(yīng)時間測試、集群讀寫能力測試、路由算法負(fù)載均衡測試、節(jié)點容錯測試等。經(jīng)實驗驗證，對于分布式重