數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究.pdf

1、隨著社會(huì)信息化的發(fā)展和數(shù)據(jù)量的暴增,數(shù)據(jù)備份系統(tǒng)中所要處理的備份和恢復(fù)的數(shù)據(jù)越來(lái)越多,數(shù)據(jù)去重技術(shù)已作為一種數(shù)據(jù)無(wú)損壓縮技術(shù)廣泛應(yīng)用在數(shù)據(jù)備份系統(tǒng)中。不過(guò),雖然數(shù)據(jù)去重技術(shù)能大幅度壓縮數(shù)據(jù)量,提高存儲(chǔ)空間和網(wǎng)絡(luò)帶寬利用率,但數(shù)據(jù)去重作為一門(mén)新興的數(shù)據(jù)壓縮技術(shù),目前還面臨著諸多問(wèn)題和挑戰(zhàn)。如在云備份服務(wù)中,現(xiàn)有的源端去重方法無(wú)法大幅度減少數(shù)據(jù)備份和恢復(fù)時(shí)間,滿(mǎn)足人們對(duì)備份服務(wù)的需求;另外,現(xiàn)有的數(shù)據(jù)去重方法由于需要?jiǎng)h除多個(gè)文件之間共享的重

2、復(fù)數(shù)據(jù)塊,會(huì)導(dǎo)致備份系統(tǒng)中存儲(chǔ)許多數(shù)據(jù)碎片,影響數(shù)據(jù)備份和去重性能。
　　在云備份系統(tǒng)中,受低帶寬廣域網(wǎng)絡(luò)的限制,數(shù)據(jù)備份速度非常慢。對(duì)于大部分用戶(hù)來(lái)說(shuō),數(shù)據(jù)備份速度過(guò)慢將直接影響正常的業(yè)務(wù)運(yùn)營(yíng)。針對(duì)此問(wèn)題,本文提出基于文件語(yǔ)義的多層次源端去重方法( Semantic-Aware Multi-Tiered Source De-duplication Framework, SAM),減少數(shù)據(jù)備份時(shí)間。在 SAM提出之前,現(xiàn)有云備份主

3、要采用基于源端的全局?jǐn)?shù)據(jù)塊級(jí)去重和局部數(shù)據(jù)塊級(jí)去重方法在客戶(hù)端對(duì)重復(fù)數(shù)據(jù)進(jìn)行刪除,減少?gòu)V域網(wǎng)絡(luò)上傳輸?shù)膫浞輸?shù)據(jù)量。前者主要在全局范圍內(nèi)刪除各用戶(hù)之間產(chǎn)生的重復(fù)數(shù)據(jù),所需要的數(shù)據(jù)去重時(shí)間較長(zhǎng);而后者雖然僅刪除同一個(gè)用戶(hù)所產(chǎn)生的重復(fù)數(shù)據(jù),數(shù)據(jù)去重時(shí)間較短,但能獲得重復(fù)數(shù)據(jù)刪除率較低,需要較長(zhǎng)的數(shù)據(jù)傳輸時(shí)間。經(jīng)分析,這兩種方法各有所長(zhǎng),但都無(wú)法大幅度減少數(shù)據(jù)備份時(shí)間,緩解數(shù)據(jù)備份過(guò)程中遇到的數(shù)據(jù)傳輸瓶頸。SAM結(jié)合這兩種方法的優(yōu)勢(shì),提出了將基

4、于源端的全局文件級(jí)去重和局部數(shù)據(jù)塊級(jí)去重進(jìn)行結(jié)合的方法,同時(shí)在全局文件級(jí)和局部數(shù)據(jù)塊級(jí)的去重過(guò)程中挖掘諸多文件語(yǔ)義信息,縮減重復(fù)數(shù)據(jù)的查找范圍,加快重復(fù)數(shù)據(jù)的查找過(guò)程。經(jīng)理論分析和試驗(yàn)數(shù)據(jù)分析,與現(xiàn)有的兩種源端去重方法相比,SAM能較好地權(quán)衡所獲得的重復(fù)數(shù)據(jù)刪除率以及所引入的去重時(shí)間開(kāi)銷(xiāo),可以大幅度減少數(shù)據(jù)備份時(shí)間。
　　不過(guò),現(xiàn)有的源端去重方法,包括SAM,都僅關(guān)注云備份中的數(shù)據(jù)備份時(shí)間,而對(duì)數(shù)據(jù)恢復(fù)時(shí)間的關(guān)注卻很少。雖然這些源

5、端去重方法都能好地滿(mǎn)足大部分用戶(hù)的需求,但對(duì)可靠性要求很高的企業(yè)用來(lái)說(shuō),數(shù)據(jù)恢復(fù)時(shí)間至關(guān)重要。當(dāng)數(shù)據(jù)受損時(shí),數(shù)據(jù)恢復(fù)時(shí)間的長(zhǎng)短直接關(guān)系到經(jīng)濟(jì)利益損失的多少。針對(duì)此問(wèn)題,本文提出基于因果關(guān)系的數(shù)據(jù)去重方法(Causality-based Deduplication Performance Booster, CABdedupe),不僅可以減少數(shù)據(jù)備份時(shí)間,也可以減少數(shù)據(jù)恢復(fù)時(shí)間。經(jīng)觀察分析,重復(fù)數(shù)據(jù)不僅存在于數(shù)據(jù)備份過(guò)程中,也存在于數(shù)據(jù)恢復(fù)

6、過(guò)程中,且這些重復(fù)數(shù)據(jù)的存在與文件之間的因果關(guān)系息息相關(guān)。CABDedupe通過(guò)監(jiān)控文件系統(tǒng)調(diào)用,捕捉文件之間的這些因果關(guān)系信息,不僅可以消除數(shù)據(jù)備份過(guò)程中的重復(fù)數(shù)據(jù),也可以消除數(shù)據(jù)恢復(fù)過(guò)程中的重復(fù)數(shù)據(jù),同時(shí)加速數(shù)據(jù)備份和恢復(fù)過(guò)程。另外,CABDedupe是一個(gè)輔助備份系統(tǒng)進(jìn)行數(shù)據(jù)去重的中間件,CABDedupe的失效只會(huì)使部分重復(fù)數(shù)據(jù)無(wú)法被刪除,降低CABDedupe對(duì)數(shù)據(jù)備份和恢復(fù)性能的優(yōu)化效果,而不會(huì)影響備份系統(tǒng)中日常的數(shù)據(jù)備份和

7、恢復(fù)功能。
　　無(wú)論使用何種數(shù)據(jù)去重方法,由于需要對(duì)多個(gè)文件或數(shù)據(jù)流之間的重復(fù)數(shù)據(jù)塊進(jìn)行刪除,數(shù)據(jù)去重都會(huì)使備份系統(tǒng)存儲(chǔ)很多數(shù)據(jù)碎片。并且隨著備份系統(tǒng)所存儲(chǔ)的備份數(shù)據(jù)量的增多,這些數(shù)據(jù)碎片會(huì)越來(lái)越多,嚴(yán)重影響數(shù)據(jù)備份和數(shù)據(jù)去重性能。針對(duì)此問(wèn)題,本文通過(guò)建立分析模型和實(shí)驗(yàn)統(tǒng)計(jì)數(shù)據(jù),詳細(xì)分析了數(shù)據(jù)碎片給數(shù)據(jù)冗余局部性以及數(shù)據(jù)去重性能所帶來(lái)的負(fù)面影響,并提出通過(guò)減少數(shù)據(jù)碎片來(lái)提高數(shù)據(jù)去重性能的方法 De-Frag。De-Frag的核心思