DWMS中壓縮技術(shù)的研究與實現(xiàn).pdf

1、隨著社會的發(fā)展，人們對信息的需求量日漸上升，從大量數(shù)據(jù)中提取所需要的信息進(jìn)行決策顯得更加重要，傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已經(jīng)無法滿足要求。這樣，一種支持決策的、特殊的數(shù)據(jù)存儲技術(shù)應(yīng)運(yùn)而生，它就是數(shù)據(jù)倉庫。
　　 當(dāng)前的數(shù)據(jù)倉庫系統(tǒng)大都是建立在數(shù)據(jù)庫管理系統(tǒng)(DBMS)之上的，并沒有專門的數(shù)據(jù)倉庫管理系統(tǒng)(DWMS)。隨著數(shù)據(jù)倉庫技術(shù)的不斷發(fā)展，數(shù)據(jù)倉庫中包含的數(shù)據(jù)量急劇增加，對傳統(tǒng)的行存儲模式的查詢提出了挑戰(zhàn)。為了提高讀優(yōu)化(read-o

2、ptimized)系統(tǒng)的性能，人們開始考慮一種與傳統(tǒng)行存儲不同的存儲方式-列存儲。列存儲技術(shù)是將數(shù)據(jù)表以列為單位進(jìn)行存儲，數(shù)據(jù)表記錄中的同一屬性值被存儲在一起。在進(jìn)行查詢的時候，列存儲數(shù)據(jù)倉庫系統(tǒng)只需要將需要的列讀入內(nèi)存，一定程度上減少了讀入的數(shù)據(jù)量，使得系統(tǒng)的查詢效率得到提高。然而，數(shù)據(jù)倉庫需要處理的數(shù)據(jù)量是非常龐大的，這造成查詢時大量的I/O。由于CPU處理與磁盤訪問發(fā)展的不平衡，造成了I/O成為了查詢的瓶頸。因此，減少I/O的次數(shù)

3、能顯著的提高查詢的效率。而數(shù)據(jù)壓縮則能在一定程度上減少I/O的次數(shù)，因此，數(shù)據(jù)壓縮成為了一個研究的熱點。對于列存儲來說，數(shù)據(jù)具有相同的數(shù)據(jù)類型，增加了相鄰數(shù)據(jù)之間的相似性，使得列存儲系統(tǒng)和傳統(tǒng)的行存儲系統(tǒng)相比具有更好的壓縮效率。
　　 壓縮技術(shù)是列存儲數(shù)據(jù)管理的重要研究內(nèi)容之一。目前多數(shù)方法對同一列數(shù)據(jù)使用單一壓縮方法進(jìn)行壓縮，忽略了數(shù)據(jù)的局部分布特性，極大的影響了壓縮性能。本文提出一種區(qū)級壓縮模式，并在此模式下提出基于學(xué)習(xí)的壓