一種分層次數(shù)據(jù)去冗技術(shù)研究.pdf

1、隨著企業(yè)和個(gè)人用戶數(shù)據(jù)迅速增長，對(duì)數(shù)據(jù)中心的存儲(chǔ)能力要求越來越高。統(tǒng)計(jì)顯示在這些海量數(shù)據(jù)中，有相當(dāng)?shù)囊徊糠质侨哂鄶?shù)據(jù)，如何檢測并刪除這些冗余數(shù)據(jù)，提高數(shù)據(jù)中心存儲(chǔ)性能已經(jīng)變得越發(fā)迫切，也非常具有實(shí)用價(jià)值。
　　本文一開始介紹了去冗的一些背景知識(shí)，分析了各大主要廠商去冗產(chǎn)品，介紹了相關(guān)的技術(shù)，在此基礎(chǔ)上完成了以下工作：
　　首先設(shè)計(jì)了一種分層次的去冗余架構(gòu)，采用控制服務(wù)器和信息服務(wù)器分離的方法，使其分別用于事務(wù)處理和文件元數(shù)據(jù)

2、存放。在信息服務(wù)器中，數(shù)據(jù)分層存放：文件指紋信息常駐內(nèi)存，分塊數(shù)據(jù)的元數(shù)據(jù)置于固態(tài)硬盤或者磁盤，真實(shí)文件數(shù)據(jù)存放于廉價(jià)的存儲(chǔ)設(shè)備，從而合理利用內(nèi)存和磁盤空間，提高效率。
　　其次在預(yù)處理模塊中，把數(shù)據(jù)進(jìn)行分類處理，提出一種基于字節(jié)的最大遞增序列分塊算法，即BFMIS算法，有效解決不定長分塊中的硬分塊問題。針對(duì)去冗系統(tǒng)中關(guān)鍵的數(shù)據(jù)碰撞難題，對(duì)經(jīng)典的SHA-1算法進(jìn)行優(yōu)化，改進(jìn)SHA-1算法中的步函數(shù)，增強(qiáng)消息修改的擴(kuò)展程度，并增加消

3、息摘要的長度，提高SHA-1算法的抗碰撞性，降低去冗系統(tǒng)的誤刪率。提出多維Bloom Filter算法，對(duì)普通Bloom Filter算法進(jìn)行位數(shù)組擴(kuò)展，降低其誤判率，解決海量數(shù)據(jù)冗余檢測問題，并增強(qiáng)Bloom Filter算法在分布式環(huán)境下的動(dòng)態(tài)伸縮性，提高整個(gè)去冗系統(tǒng)的擴(kuò)展性。
　　論文闡述RFID網(wǎng)絡(luò)中標(biāo)簽數(shù)據(jù)冗余問題以及CLIF，INPFM去冗機(jī)制，并把分層次去冗框架應(yīng)用于 RFID網(wǎng)絡(luò)中，把 RFID標(biāo)簽數(shù)據(jù)作為經(jīng)過預(yù)處