針對云存儲網(wǎng)關(guān)的重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著云計算技術(shù)的不斷發(fā)展，云存儲以其低廉的價格和海量的存儲空間得到越來越多中小企業(yè)的青睞。由于現(xiàn)有的云存儲服務(wù)提供商提供的云存儲接口與企業(yè)本地設(shè)備接口之間不統(tǒng)一，給企業(yè)應(yīng)用云存儲服務(wù)增加了使用成本。云存儲網(wǎng)關(guān)的出現(xiàn)，彌補(bǔ)了這一差異。現(xiàn)有的云存儲服務(wù)大多是按照容量和流量進(jìn)行計費(fèi)，而在企業(yè)的主存儲、備份和歸檔系統(tǒng)中存在大量的重復(fù)數(shù)據(jù)，造成了云存儲資源的浪費(fèi)。
　　根據(jù)云存儲網(wǎng)關(guān)中數(shù)據(jù)的存儲特點(diǎn)，提出了在云存儲網(wǎng)關(guān)中采用重復(fù)數(shù)據(jù)刪除技術(shù)

2、的設(shè)計和實(shí)現(xiàn)方案，將重復(fù)數(shù)據(jù)在云網(wǎng)關(guān)內(nèi)部進(jìn)行縮減。首先根據(jù)數(shù)據(jù)相似性算法查找相似數(shù)據(jù)集，縮小數(shù)據(jù)檢索范圍，再在相似數(shù)據(jù)集中進(jìn)行相同數(shù)據(jù)匹配。去重后的數(shù)據(jù)被保存成固定大小的小文件，減少本地與云存儲之間的傳輸延時。對于映射表的存儲，設(shè)計了基于“內(nèi)存—磁盤”的兩級映射表管理方案，并提出了一種映射表及數(shù)據(jù)的緩存優(yōu)化方法。通過采用緩存的主動寫回和被動換出機(jī)制延緩數(shù)據(jù)寫入磁盤的時間，盡可能地將目標(biāo)文件相同的數(shù)據(jù)一次寫回，同時根據(jù)映射表及數(shù)據(jù)的局部性

3、特點(diǎn)將相關(guān)數(shù)據(jù)組織在一起。對于數(shù)據(jù)塊的預(yù)取，采用了基于命中效果的緩存策略，提高緩存空間的利用率。為了減少內(nèi)存開銷，提出了改進(jìn)的區(qū)間紅黑樹結(jié)構(gòu)，并對基于區(qū)間的查找及切分方法進(jìn)行了討論。在系統(tǒng)中，還采用了一些工程優(yōu)化的方法，進(jìn)一步提高重復(fù)數(shù)據(jù)刪除的性能。
　　最后對重復(fù)數(shù)據(jù)刪除系統(tǒng)進(jìn)行了相關(guān)測試。首先對所使用的哈希函數(shù)進(jìn)行了測試，測試結(jié)果表明，一種公共域非加密哈希函數(shù)的計算性能遠(yuǎn)遠(yuǎn)優(yōu)于其他哈希函數(shù)。然后對相似性數(shù)據(jù)劃分的去重效果進(jìn)行了