應(yīng)用感知的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究.pdf

1、隨著數(shù)據(jù)的爆炸式增長(zhǎng)，我們現(xiàn)在正處于大數(shù)據(jù)時(shí)代。一個(gè)亟待解決的問(wèn)題是盡力提高大數(shù)據(jù)
　　管理和分析的操作效率。在這種情況下，重復(fù)數(shù)據(jù)刪除技術(shù)被廣泛被應(yīng)用到各種領(lǐng)域中，包括數(shù)據(jù)存儲(chǔ)系統(tǒng)、數(shù)據(jù)備份系統(tǒng)、數(shù)據(jù)容災(zāi)、醫(yī)療等等，甚至向通信領(lǐng)域進(jìn)行延伸。
　　本文對(duì)重復(fù)數(shù)據(jù)刪除系統(tǒng)的幾項(xiàng)關(guān)鍵技術(shù)進(jìn)行了分析和研究，并針對(duì)重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化提出了新的系統(tǒng)設(shè)計(jì)和相關(guān)算法。本文的主要?jiǎng)?chuàng)新包括以下幾項(xiàng)內(nèi)容：
　?。?）提出了一種基于

2、應(yīng)用感知的重復(fù)數(shù)據(jù)預(yù)測(cè)機(jī)制。重復(fù)數(shù)據(jù)預(yù)測(cè)技術(shù)能夠在執(zhí)行重復(fù)數(shù)據(jù)刪除之前，讓用戶了解重復(fù)數(shù)據(jù)刪除系統(tǒng)的效用，為用戶需要的存儲(chǔ)系統(tǒng)空間大小提供參考。相比于現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)，應(yīng)用感知的重復(fù)數(shù)據(jù)預(yù)測(cè)技術(shù)能夠進(jìn)一步減小預(yù)測(cè)索引表的大小,進(jìn)一步提升了預(yù)測(cè)算法的性能。
　?。?）提出一種索引表的自適應(yīng)更新算法。以往的重復(fù)數(shù)據(jù)預(yù)測(cè)算法只能夠根據(jù)固定的索引表項(xiàng)，預(yù)測(cè)數(shù)據(jù)集內(nèi)部或數(shù)據(jù)集與存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)相似率。索引表自適應(yīng)更新算法根據(jù)訪問(wèn)數(shù)據(jù)

3、塊的相關(guān)信息，不斷更新索引表，能夠同時(shí)考慮數(shù)據(jù)內(nèi)部的冗余度和數(shù)據(jù)與存儲(chǔ)系統(tǒng)中數(shù)據(jù)的冗余度，提高了重復(fù)數(shù)據(jù)預(yù)測(cè)算法的準(zhǔn)確性。
　?。?）對(duì)重復(fù)數(shù)據(jù)刪除系統(tǒng)中的磁盤(pán)索引瓶頸問(wèn)題進(jìn)行優(yōu)化，提出了一種基于熱點(diǎn)數(shù)據(jù)識(shí)別的Cache替換算法。我們通過(guò)研究發(fā)現(xiàn)數(shù)據(jù)中重復(fù)次數(shù)較多的數(shù)據(jù)占數(shù)據(jù)總數(shù)的較大部分，我們稱之為數(shù)據(jù)的重復(fù)性特征。利用數(shù)據(jù)的重復(fù)性特征，基于熱點(diǎn)數(shù)據(jù)識(shí)別的Cache替換算法能夠獲得更高的Cache命中率，減少磁盤(pán)的讀寫(xiě)次數(shù)，降低