面向歸檔存儲的重復(fù)數(shù)據(jù)刪除優(yōu)化方法研究.pdf

1、隨著社會信息化水平的提高,數(shù)據(jù)變得越來越重要。與此同時,企業(yè)數(shù)據(jù)中心的存儲需求量呈爆炸式增長。目前的存儲系統(tǒng)主要是從數(shù)據(jù)的讀寫性能和可靠性方面進行設(shè)計,忽略了數(shù)據(jù)之間的關(guān)聯(lián)和冗余特性。這不僅造成了存儲空間的浪費,也使得用戶難以對數(shù)量龐大、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)進行有效的管理。針對此,近年來出現(xiàn)了重復(fù)數(shù)據(jù)刪除技術(shù)(De-duplication)。
　　在分析重復(fù)數(shù)據(jù)刪除系統(tǒng)中元數(shù)據(jù)訪問、查詢特性和數(shù)據(jù)的布局及讀寫特性的基礎(chǔ)上,給出了一種元數(shù)

2、據(jù)與數(shù)據(jù)分離的重復(fù)數(shù)據(jù)刪除系統(tǒng)架構(gòu)方案:(1)采用由客戶端、元數(shù)據(jù)服務(wù)器和存儲節(jié)點構(gòu)成的三方架構(gòu);(2)將元數(shù)據(jù)訪問分離到客戶端與元數(shù)據(jù)服務(wù)器間,將文件內(nèi)容訪問分離到客戶端與存儲節(jié)點間,從而該方案具有高可擴展性和高訪問并發(fā)性。在去重功能上,(1)采用固定分塊的數(shù)據(jù)劃分方法,使用哈希算法MD5、SHA-1等作為數(shù)據(jù)分塊的哈希指紋;(2)使用兩層BloomFilter對數(shù)據(jù)分塊的哈希指紋進行快速判別和過濾,并使用B+樹索引結(jié)構(gòu)作為哈希指紋元

3、數(shù)據(jù)的持久化存儲方案。為了進一步優(yōu)化I/O性能,(1)采用按照數(shù)據(jù)流分區(qū)域存儲的數(shù)據(jù)布局策略,獲得數(shù)據(jù)訪問的空間局部性;(2)結(jié)合客戶端元數(shù)據(jù)及數(shù)據(jù)緩存機制,提高文件訪問的緩存命中率和文件讀寫的性能。
　　最后,設(shè)計并實現(xiàn)了一個三方架構(gòu)的重復(fù)數(shù)據(jù)刪除系統(tǒng)原型,在系統(tǒng)原型之上進行了功能和性能測試。功能測試結(jié)果表明,上述重復(fù)數(shù)據(jù)刪除方案在虛擬機鏡像的測試集下能獲得130％的數(shù)據(jù)壓縮率;性能測試結(jié)果表明,緩存機制可以提高文件訪問的性能;