基于SDN的重復(fù)數(shù)據(jù)刪除方法研究.pdf

1、隨著大數(shù)據(jù)和移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量急劇增加，需要備份保護(hù)的數(shù)據(jù)也越來越多，為了減少存儲空間的開銷和降低網(wǎng)絡(luò)傳輸?shù)耐ㄐ帕?，?shù)據(jù)去重技術(shù)已經(jīng)成為了存儲系統(tǒng)中的一個標(biāo)準(zhǔn)特性。雖然重復(fù)數(shù)據(jù)刪除技術(shù)在存儲系統(tǒng)中已經(jīng)較為成熟，但是在實際應(yīng)用，特別是網(wǎng)絡(luò)傳輸應(yīng)用中仍然存在諸多問題和挑戰(zhàn)。例如在云備份系統(tǒng)中，由于客戶端緩存有限以及廣域網(wǎng)帶寬的限制，備份過程中重復(fù)數(shù)據(jù)的判斷需要在服務(wù)器端進(jìn)行，這導(dǎo)致很大的傳輸延遲，所以會阻塞后續(xù)數(shù)據(jù)的上傳，增加了備

2、份窗口，在全局去重時問題更加嚴(yán)重。為提高云備份中源端去重的性能，高效的重復(fù)數(shù)據(jù)刪除方法對減少備份時間具有重要的意義。
　　隨著可編程網(wǎng)絡(luò)技術(shù)如SDN(Software Defined Network)的成熟，在網(wǎng)絡(luò)中部署復(fù)雜的應(yīng)用變得簡單，本文提出在SDN Controller中檢測網(wǎng)絡(luò)中的冗余數(shù)據(jù)，加快冗余數(shù)據(jù)的判斷過程，減小備份時間，在SDN控制器中增設(shè)指紋緩存，而無需在每個客戶端都緩存指紋。一定程度上，在每個客戶端開辟指紋緩

3、存，引入了多個用戶之間緩存指紋的冗余。本文提出的方法主要是通過在SDN控制器上使用Bloom filter和緩存的索引結(jié)構(gòu)來進(jìn)行網(wǎng)內(nèi)的重復(fù)數(shù)據(jù)檢測，同時通過下發(fā)流表項實現(xiàn)對SDN控制器中指紋緩存的查詢和更新，從而快速判斷數(shù)據(jù)是否重復(fù)，這種方法的創(chuàng)新點在于將冗余檢測的邏輯引入到SDN網(wǎng)絡(luò)中，和傳統(tǒng)的重復(fù)數(shù)據(jù)刪除相比，其優(yōu)勢在于不僅可以減小備份客戶端的備份窗口，而且避免了在中間網(wǎng)絡(luò)設(shè)備中進(jìn)行編解碼的復(fù)雜操作。
　　實驗結(jié)果表明，基于S