OLAP系統(tǒng)中Cube并行與分布式處理技術(shù)的研究.pdf

1、數(shù)據(jù)立方體(Data Cube，Cube)是一項可對數(shù)據(jù)倉庫中的數(shù)據(jù)進行快速訪問的技術(shù)，它是聯(lián)機分析處理(On-Line Analytical Processing，OLAP)的主要對象。決策分析者可以在Cube中享受高效率的數(shù)據(jù)訪問，快速獲取有用的決策信息。 在本文中，我們提出了在并行環(huán)境下建立基于高維數(shù)據(jù)的Cube數(shù)據(jù)存儲和OLAP查詢分析系統(tǒng)，以及在網(wǎng)絡(luò)環(huán)境下建立基于海量痕跡數(shù)據(jù)的Cube數(shù)據(jù)存儲和OLAP查詢分析系統(tǒng)，并

2、給出了該方面工作的進一步研究思路。 隨著數(shù)據(jù)倉庫中數(shù)據(jù)規(guī)模的不斷增大，Cube的維度和維度的層次結(jié)構(gòu)日益復(fù)雜，在單處理機上物化整個Cube，無論在計算時間還是存儲空間上的代價都十分昂貴。盡管采用了許多改進的算法及：Iceberg Cube，Condensed cube，Dwarf~等Cube壓縮技術(shù)，也不能從根本上解決高維數(shù)據(jù)的Cube存儲問題，并行技術(shù)為我們解決這一問題提供了新思路。 本文針對高維數(shù)據(jù)所引起的“維災(zāi)”，

3、提出了一種并行環(huán)境下的高效存儲結(jié)構(gòu)——HDCube(High Dimensional Cube)，HDCube通過分段劃分策略將高維層次數(shù)據(jù)根據(jù)節(jié)點的個數(shù)劃分成若干個低維層次數(shù)據(jù)，利用并行處理技術(shù)創(chuàng)建各個節(jié)點上的LDCube(Low：Dimensional Cube)，同時充分利用維屬性具有層次性的特點，采用基于維層次編碼(Dimenison Hierarchical Encoding，DHE)的索引技術(shù)，生成各個維的維層次編碼表來代替

4、維表中原關(guān)鍵字，在實現(xiàn)維關(guān)鍵字壓縮的同時加快了Cube中的數(shù)據(jù)檢索速度。然后結(jié)合并行處理技術(shù)，建立了并行環(huán)境下的HDCube數(shù)據(jù)存儲與OLAP查詢分析系統(tǒng)，對HDCube進行并行創(chuàng)建與增量更新維護，并給出了HDCube的并行查詢處理及優(yōu)化算法。理論分析和實驗證明，相對于以往的完整物化和部分物化等傳統(tǒng)方法，我們提出的并行環(huán)境下HDCube的性能有顯著的提高，具有很高的效率和加速比。 OLAP除了在傳統(tǒng)領(lǐng)域，如金融、保險、電信等行業(yè)

5、中的特定應(yīng)用之外，在物流行業(yè)的發(fā)展也很廣闊。我們結(jié)合危險品運輸過程中產(chǎn)生的海量痕跡數(shù)據(jù)，提出了海量痕跡數(shù)據(jù)的Cube存儲結(jié)構(gòu)——MTCube(Massive Trace Cube)，MTCube適用于實際應(yīng)用中普遍存在的海量痕跡數(shù)據(jù)，它在根據(jù)痕跡數(shù)據(jù)特性大幅度壓縮數(shù)據(jù)的同時，通過層次前綴痕跡(Hierarchy Prefix Trace)和層次前綴標識(Hierarchy Prefix ID)在存儲結(jié)構(gòu)中記錄數(shù)據(jù)的痕跡，幫助用戶在跟蹤危

6、險品的同時，能從龐雜的數(shù)據(jù)中進行信息提煉，分析現(xiàn)在的、有用的關(guān)系和模式，為復(fù)雜數(shù)據(jù)的分析和高層決策提供更有效的支持。由于痕跡數(shù)據(jù)往往是海量的、地理分布的，同時查詢復(fù)雜化和顯示多樣化的需求不斷地增加，原有的集中式管理已經(jīng)越來越表現(xiàn)出其局限性。為此我們提出了建立網(wǎng)絡(luò)環(huán)境下的MTCube數(shù)據(jù)存儲與OLAP查詢分析系統(tǒng)，它由若干個本地站點的局部Cube/OLAP系統(tǒng)(Local Cube/OLAP System，LCOS)組成。理論分析和實驗證