一種基于重復數(shù)據(jù)刪除的備份系統(tǒng)設計與實現(xiàn).pdf

1、隨著信息化程度的不斷提高，數(shù)據(jù)對于企業(yè)的重要性愈發(fā)凸顯。由于企業(yè)日常生產過程中會產生了大量的生產數(shù)據(jù)，尤其是近年來，海量數(shù)據(jù)的爆炸性增長對數(shù)據(jù)中心的存儲能力提出了更高的要求。統(tǒng)計數(shù)據(jù)表明，企業(yè)日常新增海量數(shù)據(jù)之間存在著許多相似的數(shù)據(jù)，為此，提出了重復數(shù)據(jù)刪除技術。當前，采用重復數(shù)據(jù)刪除技術以改進數(shù)據(jù)存儲效率、提高海量數(shù)據(jù)處理性能具有重要的理論和實用價值。
　　 本文設計了一種基于重復數(shù)據(jù)刪除的文件備份系統(tǒng)，該系統(tǒng)能夠有效地對文件

2、進行存儲并壓縮從而節(jié)約存儲空間，并且，在數(shù)據(jù)壓縮同時也能夠節(jié)省傳輸帶寬，可以讓各個版本的數(shù)據(jù)在存儲器上有效保存，降低磁盤開銷。
　　 基于重復數(shù)據(jù)刪除的文件備份系統(tǒng)在功能點上可以分為兩大功能模塊：重復數(shù)據(jù)刪除模塊，用于實現(xiàn)文件分塊以及數(shù)據(jù)消重；性能改進模塊，用于實現(xiàn)預處理功能和負載均衡。
　　 在重復數(shù)據(jù)刪除模塊中，為了滿足對文件數(shù)據(jù)變化敏感度低的性能需求，文件分塊模塊設計采用的是變長分塊模式，從而保證了各個版本文件分成

3、的塊之間相似性更大。在系統(tǒng)消重模塊，引入了BloomFilter算法，以O（1）的時間復雜度完成一次判重處理，該算法在效率上比傳統(tǒng)使用數(shù)據(jù)庫進行消重快許多。雖然Bloom Filter有一定的誤判率，但是經理論論證與實驗表明，當其處理數(shù)據(jù)在一定的范圍內，誤判率的大小仍然是可控的。
　　 在系統(tǒng)的性能改進模塊，定義了一種數(shù)據(jù)結構——目錄層級哈希樹，使用該數(shù)據(jù)結構對待備份目錄樹進行判重剪枝，以縮短備份時間。對系統(tǒng)的服務器端加入了分布