分布式重復數(shù)據(jù)刪除系統(tǒng)中路由方法的研究.pdf

1、隨著數(shù)據(jù)中心的數(shù)據(jù)呈指數(shù)級增長，為了保障系統(tǒng)的高吞吐率、高重刪率和負載平衡，分布式重復數(shù)據(jù)刪除存儲系統(tǒng)面臨巨大挑戰(zhàn)。分布式重復數(shù)據(jù)刪除存儲系統(tǒng)主要通過改進路由方法和改善指紋查找的效率來優(yōu)化系統(tǒng)性能?，F(xiàn)有的分布式重復數(shù)據(jù)刪除存儲系統(tǒng)，主要采用無狀態(tài)和有狀態(tài)的路由方法。其中無狀態(tài)路由方法，由于不考慮節(jié)點已存儲數(shù)據(jù)的歷史信息，整體重刪率低、存儲失衡；而有狀態(tài)的路由方法，需要將備份數(shù)據(jù)流的全部指紋在每個節(jié)點上查詢，系統(tǒng)吞吐率較低。
　　針

2、對以上問題，本文設計并實現(xiàn)了一種結(jié)合指紋抽樣和減少數(shù)據(jù)碎片(Fingerprint Sampling and Fragmentation Reduction,FSFR)的路由方法，該方法與已有的路由方法相比，保證了系統(tǒng)的重刪率和負載平衡，提高了恢復吞吐率。該方法具體為：首先在客戶端對數(shù)據(jù)進行預處理，將分塊數(shù)據(jù)合并生成超塊（Super-Chunk），提取抽樣指紋序列；其次在節(jié)點服務器端，采用布隆過濾器對指紋進行查找，考慮重刪率和存儲利用率