科學與統(tǒng)計數(shù)據(jù)庫壓縮與查詢處理方法的研究.pdf

1、在信息量呈指數(shù)級增長的今天，我們需要數(shù)據(jù)庫管理系統(tǒng)（DBMS）能夠處理上G、上T、甚至上P的海量數(shù)據(jù)。這就對數(shù)據(jù)庫管理系統(tǒng)提出了挑戰(zhàn)，即如何有效地存儲和管理海量數(shù)據(jù)并高效的支持上層的查詢。
　　海量科學與統(tǒng)計數(shù)據(jù)（例如：地震監(jiān)測、天氣預報、物理化學實驗等數(shù)據(jù)）中存在著大量的數(shù)據(jù)冗余，即相同的數(shù)據(jù)會在不同的地方多次重復出現(xiàn)，這不僅浪費了存儲空間，而且降低了查詢效率。壓縮技術(shù)由于節(jié)省存儲空間和I/O帶寬而被廣泛應(yīng)用于數(shù)據(jù)的存儲和傳輸中

2、。正是海量數(shù)據(jù)的出現(xiàn)，使得壓縮技術(shù)與數(shù)據(jù)庫技術(shù)結(jié)合了起來，產(chǎn)生了壓縮數(shù)據(jù)庫技術(shù)。壓縮數(shù)據(jù)庫技術(shù)的研究內(nèi)容包括數(shù)據(jù)壓縮算法及壓縮數(shù)據(jù)上的查詢算法。
　　科學與統(tǒng)計數(shù)據(jù)庫(ScientificandStatisticalDatabase,SSDB)具有如下特點：（1）關(guān)系的模式穩(wěn)定、屬性值的值域有限、數(shù)據(jù)冗余大；（2）新產(chǎn)生的數(shù)據(jù)只追加到當前數(shù)據(jù)末尾而不更新已有內(nèi)容；（3）每個關(guān)系都由大量屬性組成，但大多數(shù)查詢只與少數(shù)幾個屬性相關(guān)且多

3、為只讀操作。上述特征都適合于將壓縮數(shù)據(jù)庫技術(shù)集成到SSDB中去。因此，本文的研究內(nèi)容包括：
　　研究適合于科學與統(tǒng)計數(shù)據(jù)庫的數(shù)據(jù)壓縮算法及存儲結(jié)構(gòu)；研究在壓縮科學與統(tǒng)計數(shù)據(jù)庫上的查詢處理技術(shù)，包括數(shù)據(jù)操作算法和查詢優(yōu)化算法。
　　本文的主要研究結(jié)果如下：
　　提出了適合科學與統(tǒng)計數(shù)據(jù)庫的兩種數(shù)據(jù)壓縮存儲策略，其分別為CCSS(Column-CompressedStorageSystem)和RCSS(Row-Compre

4、ssedStorageSystem)。CCSS是一個按列壓縮存儲系統(tǒng)，它采用不同的存儲結(jié)構(gòu)和編碼，以不同粒度對關(guān)系中的屬性按列存儲并壓縮，從而將對原始數(shù)據(jù)的查詢操作轉(zhuǎn)換為對（壓縮）數(shù)據(jù)的操作，實現(xiàn)不解壓直接查詢，簡化了查詢實現(xiàn)。RCSS是一個基于字典壓縮的按行存儲系統(tǒng)。本文詳細介紹了RCSS的壓縮存儲結(jié)構(gòu)（包括編碼字典和壓縮數(shù)據(jù)頁的格式、系統(tǒng)字典的擴充）以及具體的壓縮、插入和刪除算法。RCSS與非壓縮數(shù)據(jù)庫存儲系統(tǒng)提供相同的接口，可以在

5、維持現(xiàn)有系統(tǒng)上層模塊（索引、查詢處理等）不變的情況下，實現(xiàn)壓縮技術(shù)與數(shù)據(jù)庫系統(tǒng)的有效結(jié)合。RCSS的壓縮方法具有簡單、通用的特點，理論分析表明RCSS壓縮的有效性；
　　針對CCSS這種存儲策略，給出了相應(yīng)的數(shù)據(jù)操作算法，包括選擇、投影和連接；
　　給出了CCSS上查詢的優(yōu)化策略；
　　利用上述思想設(shè)計并實現(xiàn)了一個壓縮科學與統(tǒng)計數(shù)據(jù)庫原型系統(tǒng)My_SSDB。理論分析和初步實驗表明，通過壓縮和以不同粒度按列存儲，系統(tǒng)能夠