面向?yàn)?zāi)備的無(wú)損數(shù)據(jù)壓縮關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)壓縮是指在一定的數(shù)據(jù)存儲(chǔ)空間要求下，將相對(duì)龐大的原始數(shù)據(jù)，重組為滿足前述空間要求的數(shù)據(jù)集合，使得從該數(shù)據(jù)集合中恢復(fù)出來(lái)的信息能夠與原始數(shù)據(jù)相一致，或者能夠獲得與原始數(shù)據(jù)一樣的使用品質(zhì)。數(shù)據(jù)壓縮減少了數(shù)據(jù)存儲(chǔ)所需要的空間，從而間接減少了處理數(shù)據(jù)所需要的時(shí)間及資源耗費(fèi)。災(zāi)備系統(tǒng)特殊的應(yīng)用環(huán)境和特定的技術(shù)要求對(duì)數(shù)據(jù)壓縮技術(shù)提出了新的要求，這些要求包括在以中文信息為主的應(yīng)用環(huán)境下壓縮性能的度量和壓縮性能的提高優(yōu)化問(wèn)題，由基于分塊的增量備份技

2、術(shù)所衍生的壓縮技術(shù)在分塊模式下的性能優(yōu)化問(wèn)題，對(duì)災(zāi)備數(shù)據(jù)聯(lián)合使用壓縮技術(shù)和加密技術(shù)所引發(fā)的計(jì)算性能瓶頸問(wèn)題，以及擴(kuò)展壓縮技術(shù)的應(yīng)用范圍等等。
　　在以中文信息為主的應(yīng)用環(huán)境下壓縮性能的度量方面，由于數(shù)據(jù)壓縮技術(shù)的發(fā)展一直以歐美發(fā)達(dá)國(guó)家為主導(dǎo)，壓縮性能測(cè)試主要使用Calgary Corpus和Canterbury Corpus等測(cè)試集，這些測(cè)試集的各類測(cè)試文件都是ASCII編碼方式的，而在中文應(yīng)用環(huán)境中，ANSI編碼的數(shù)據(jù)占有主導(dǎo)地

3、位，因此需要對(duì)壓縮測(cè)試集進(jìn)行擴(kuò)充，增加中文編碼的測(cè)試樣本。論文構(gòu)造了一個(gè)基于ANSI編碼的中文無(wú)損壓縮算法性能評(píng)估測(cè)試集 HITICT，其按照應(yīng)用代表性、補(bǔ)充性、公開(kāi)性的原則從互聯(lián)網(wǎng)上獲取候選樣本，采用平均壓縮率、標(biāo)準(zhǔn)差、平均相關(guān)系數(shù)、壓縮率相關(guān)系數(shù)等技術(shù)指標(biāo)對(duì)樣本進(jìn)行篩選，并剔除影響壓縮率的非文本因素，最后確定了10個(gè)最優(yōu)樣本組成HITICT Corpus。實(shí)驗(yàn)結(jié)果表明，該測(cè)試集具有良好的代表性及穩(wěn)定性，彌補(bǔ)了中文壓縮測(cè)試集的空白，可

4、以做為當(dāng)前主流ASCII編碼測(cè)試集的補(bǔ)充。
　　針對(duì)中文數(shù)據(jù)的壓縮性能優(yōu)化問(wèn)題，論文提出了一個(gè)中文文本壓縮性能優(yōu)化算法CRecode。算法根據(jù)中文文本中字詞的概率分布特點(diǎn)，對(duì)中文字詞根據(jù)其使用頻率，采用8 bits、16 bits和24 bits三種長(zhǎng)度的編碼重新編碼，克服了Huffman編碼在壓縮中文數(shù)據(jù)時(shí)打亂數(shù)據(jù)中蘊(yùn)含的語(yǔ)義信息，致使其壓縮數(shù)據(jù)再壓縮性差的缺點(diǎn)。CRecode最大的貢獻(xiàn)在于它與通用壓縮工具的兼容性，測(cè)試中，CR

5、ecode在與現(xiàn)有主流壓縮軟件聯(lián)合使用時(shí)，可提高壓縮率4％到30%。
　　在分塊壓縮技術(shù)的研究方面，論文首次深入研究了LZSS算法在分塊模式下的壓縮性能以及影響LZSS性能最重要的兩個(gè)參數(shù)IA字段位長(zhǎng)及Len字段位長(zhǎng)對(duì)分塊LZSS壓縮性能的影響，以此確定與災(zāi)備系統(tǒng)相匹配的最佳分塊大小。研究表明，LZSS壓縮率與分塊大小相關(guān)，分塊越大，壓縮率越高，不分塊 LZSS的壓縮率最高。IA字段位長(zhǎng)對(duì)分塊LZSS的壓縮性能影響較大，最佳分塊隨

6、著IA字段位長(zhǎng)的增大而增大，而 Len字段位長(zhǎng)對(duì)分塊 LZSS壓縮率的影響很小。時(shí)間性能方向，造成分塊LZSS時(shí)間性能降低的原因主要在于小分塊引起的IO負(fù)擔(dān)，與LZSS算法本身無(wú)關(guān)。
　　在壓縮數(shù)據(jù)的隨機(jī)性測(cè)試方面，論文使用NIST和Diehard兩個(gè)隨機(jī)性測(cè)試集測(cè)試了各種壓縮算法生成的壓縮數(shù)據(jù)的隨機(jī)性，提出了一個(gè)隨機(jī)性度量指標(biāo) SRV，通過(guò)計(jì)算SRV值對(duì)壓縮數(shù)據(jù)的隨機(jī)性能進(jìn)行比較，并分析了壓縮率與隨機(jī)性之間的關(guān)系。測(cè)試表明，數(shù)據(jù)

7、壓縮率與隨機(jī)性是有一定的正相關(guān)關(guān)系，但隨機(jī)性好未必意味著生成該數(shù)據(jù)的壓縮算法的壓縮率高，壓縮數(shù)據(jù)的隨機(jī)性更與編碼方式相關(guān)，算術(shù)編碼表現(xiàn)出更好的隨機(jī)化性能。高度壓縮的數(shù)據(jù)仍具有一定的非隨機(jī)性。壓縮數(shù)據(jù)隨機(jī)性的優(yōu)劣與壓縮算法的隨機(jī)化性能息息相關(guān)，根據(jù)LZSS算法IA字段所具有的隨機(jī)性特征，論文設(shè)計(jì)了一個(gè)基于LZSS的PRNG，實(shí)驗(yàn)表明，基于LZSS的PRNG可獲得與RC4加密算法相近的隨機(jī)性能，該算法生成的隨機(jī)數(shù)具有單向性、不可逆推的特點(diǎn)，