基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)和各種新興網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展，電子數(shù)據(jù)量增長(zhǎng)迅猛，這些海量數(shù)據(jù)的存儲(chǔ)和備份使得存儲(chǔ)需求呈指數(shù)增長(zhǎng)，數(shù)據(jù)中心的存儲(chǔ)規(guī)模在迅速向PB級(jí)別甚至EB級(jí)別發(fā)展。研究表明，各種應(yīng)用系統(tǒng)中存儲(chǔ)的電子數(shù)據(jù)平均存在大約60％的重復(fù)數(shù)據(jù)，并且隨著時(shí)間的推移不斷增長(zhǎng)。例如辦公自動(dòng)化系統(tǒng)、歸檔存儲(chǔ)系統(tǒng)、群發(fā)郵件及附件、Web頁面和軟件版本發(fā)布中都存在大量的重復(fù)數(shù)據(jù)，周期性的備份更是加速了重復(fù)數(shù)據(jù)的增長(zhǎng)。這些重復(fù)數(shù)據(jù)的多次存儲(chǔ)和傳送消耗了大量寶貴的存

2、儲(chǔ)和帶寬資源，極大地增加了數(shù)據(jù)管理成本。因此，如何利用重復(fù)數(shù)據(jù)消除技術(shù)優(yōu)化資源的利用率，降低數(shù)據(jù)管理的開銷，已經(jīng)成為了備份存儲(chǔ)領(lǐng)域的一個(gè)熱點(diǎn)研究課題。
　　對(duì)基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)備份系統(tǒng)而言，在提高數(shù)據(jù)壓縮性能的同時(shí)，還應(yīng)該保證系統(tǒng)具有良好的安全性和吞吐量性能。因此，本論文的研究工作針對(duì)現(xiàn)有方法存在的不足，著眼于提高相同數(shù)據(jù)檢測(cè)方法的壓縮性能、提高線性Delta鏈的數(shù)據(jù)恢復(fù)性能、提高重復(fù)數(shù)據(jù)消除系統(tǒng)的數(shù)據(jù)安全性、提高重復(fù)

3、數(shù)據(jù)消除系統(tǒng)的吞吐量幾個(gè)方面。本論文的研究工作取得了以下創(chuàng)新性成果：
　　(1)提出了一種基于預(yù)分塊和滑動(dòng)窗口的相同數(shù)據(jù)檢測(cè)方法：該方法對(duì)數(shù)據(jù)變動(dòng)區(qū)域和非變動(dòng)區(qū)域采用不同的分塊策略，較好地解決了現(xiàn)有方法不能解決的提高壓縮性能和降低分塊元數(shù)據(jù)開銷之間的矛盾，從而突破了進(jìn)一步提高檢測(cè)方法壓縮性能所面臨的瓶頸。在分塊大小預(yù)期值較大的情況下，該方法仍能獲得較高的壓縮比并且時(shí)間開銷明顯低于現(xiàn)有的有狀態(tài)檢測(cè)方法。
　　(2)提出了一種D

4、elta文件版本傳遞算法：通過使用該算法，可以在不計(jì)算中間版本文件的情況下恢復(fù)出所需的版本文件，較好地解決了線性Delta鏈數(shù)據(jù)恢復(fù)性能差的問題，并保持了線性Delta鏈壓縮性能最優(yōu)的特點(diǎn)?；谠撍惴ǖ腄elta備份系統(tǒng)的壓縮性能相對(duì)于基于跳躍式Delta鏈的系統(tǒng)顯著提高，并且數(shù)據(jù)恢復(fù)時(shí)間明顯低于傳統(tǒng)數(shù)據(jù)恢復(fù)方法。
　　(3)提出了一種面向重復(fù)數(shù)據(jù)消除系統(tǒng)的加密方法：該方法以分塊為加密的基本單位，并且使用會(huì)聚性的方法生成分塊對(duì)稱密

5、鑰，消除了用戶密鑰選擇不一致和加密算法雪崩效應(yīng)給重復(fù)數(shù)據(jù)消除帶來的影響，從而較好地解決了傳統(tǒng)加密方法與重復(fù)數(shù)據(jù)消除技術(shù)不兼容的問題，使系統(tǒng)的數(shù)據(jù)機(jī)密性和壓縮性能同時(shí)得到了保證。
　　(4)提出了不依賴于備份負(fù)載局部性的吞吐量提升方法：設(shè)計(jì)了一種適用于混合備份負(fù)載的吞吐量提升方法，并在此基礎(chǔ)上進(jìn)一步設(shè)計(jì)了一種適用于分布式應(yīng)用環(huán)境的吞吐量提升方法，這兩種方法較好地解決了現(xiàn)有吞吐量提升方法依賴于備份負(fù)載局部性的問題，能夠有效處理非傳統(tǒng)備