支持高效杳詢的數(shù)據(jù)立方構(gòu)建技術(shù)研究.pdf

1、隨著數(shù)字技術(shù)和計算機(jī)信息化的普及和發(fā)展,許多單位和部門都采用了計算機(jī)進(jìn)行管理和運(yùn)營。這些計算機(jī)系統(tǒng)通常都具有強(qiáng)大的收集、存儲和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控數(shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計數(shù)據(jù)、財經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等,這些日積月累的數(shù)據(jù)形成了一個巨大的“寶藏”,如何有效地管理這些數(shù)據(jù),從中挖掘規(guī)律性知識,指導(dǎo)制定生產(chǎn)和營銷策略,就顯得越來越重要。數(shù)據(jù)倉庫技術(shù)正是為此提供解決方案而產(chǎn)生的,也是目前學(xué)術(shù)界和工業(yè)界研究開發(fā)的熱點問題之一。隨著網(wǎng)絡(luò)時代的到來,

2、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,已經(jīng)而且正在繼續(xù)改變著人們的生活及思維方式。每個人、每個企業(yè)可以在充分利用全世界信息資源的前提下做出自己的決策,人們不僅僅是在普通地查詢和訪問數(shù)據(jù),更重要的是從數(shù)據(jù)中獲取信息和知識,進(jìn)而支持科學(xué)的決策。數(shù)據(jù)倉庫及其之上的OLAP分析技術(shù)和數(shù)據(jù)挖掘技術(shù)提供了獲取信息和知識的手段。
　　 數(shù)據(jù)倉庫和OLAP技術(shù)都是基于多維模型的。多維數(shù)據(jù)模型是面向分析應(yīng)用而提出來的一種直觀的概念模型,可以直接地表達(dá)分析目標(biāo)。該模

3、型將數(shù)據(jù)看作數(shù)據(jù)立方體形式。而建立數(shù)據(jù)倉庫進(jìn)行OLAP處理的最終目的都是服務(wù)于決策分析的,需要的是對用戶查詢的快速而準(zhǔn)確的響應(yīng),這就要求針對數(shù)據(jù)立方的查詢結(jié)果要準(zhǔn)確、響應(yīng)要快速,因此數(shù)據(jù)立方的構(gòu)建問題就變得極其重要。因此本文研究數(shù)據(jù)立方的構(gòu)建等相關(guān)技術(shù),具體包括以下幾個方面的內(nèi)容。
　　 (1)針對數(shù)據(jù)倉庫的物化視圖選擇問題,提出了一種基于查詢模式的動態(tài)物化視圖選擇算法。物化視圖的選擇和調(diào)整不但考慮了視圖物化所需的空間限制,還參

4、照了用戶以往的查詢模式來調(diào)整其計算參數(shù),每個視圖都被賦予了一個權(quán)重,視圖被查詢的次數(shù)越多,其權(quán)重越大,則該視圖被物化的可能性就越大。與傳統(tǒng)的物化視圖選擇算法相比,基于查詢模式的動態(tài)物化視圖選擇算法的查詢命中率大大提高。
　　 (2)針對高維低基數(shù)的數(shù)據(jù)立方的計算和查詢問題,提出了一種基于壓縮位圖的索引結(jié)構(gòu),以及兩個相應(yīng)的高維數(shù)據(jù)集上數(shù)據(jù)立方計算和查詢的算法。壓縮位圖索引的位“與”運(yùn)算速度非?？?引入“起始有效指針”和“結(jié)束有效指

5、針”大大降低了位“與”運(yùn)算的次數(shù)和內(nèi)存消耗。與Frag-Cubing算法相比,壓縮位圖索引算法計算數(shù)據(jù)立方的時間開銷節(jié)省了30％,存儲空間節(jié)省了25％以上。
　　 (3)針對消除前綴冗余和后綴冗余的語義壓縮數(shù)據(jù)立方結(jié)構(gòu)Dwarf的存儲問題,提出了兩個基于頁面分區(qū)策略的加速查詢的聚簇算法。遞歸聚簇算法考慮了點查詢對Dwarf節(jié)點進(jìn)行深度優(yōu)先順序查詢的特點進(jìn)行聚簇,層次聚簇算法考慮了范圍查詢對Dwarf節(jié)點進(jìn)行廣度優(yōu)先順序查詢的特點

6、進(jìn)行聚簇。采用邏輯聚簇的機(jī)制來保證聚簇特性。與Dwarf原來的聚簇相比,遞歸聚簇算法更適合于點查詢,層次聚簇算法適用于范圍查詢,查詢時間和I/O時間的性能都有很大提高。
　　 (4)針對數(shù)據(jù)立方中對度量值進(jìn)行實時動態(tài)泛化統(tǒng)計分析的查詢需求,提出了一種適合動態(tài)泛化統(tǒng)計分析的數(shù)據(jù)立方模型。數(shù)據(jù)泛化是通過將相對較低層次的值(如屬性age的數(shù)值)用較高層次的概念(如青年、中年和老年)置換來得到匯總數(shù)據(jù)的過程。新模型通過對傳統(tǒng)數(shù)據(jù)立方模型

7、的維和事實表的定義進(jìn)行擴(kuò)展,解決了傳統(tǒng)方法對動態(tài)泛化統(tǒng)計分析實現(xiàn)的不靈活性和無法對動態(tài)泛化統(tǒng)計分析下的數(shù)據(jù)立方進(jìn)行預(yù)先物化而造成查詢性能過低等缺點。針對動態(tài)泛化分析查詢,新模型在查詢時間、用戶滿意度和操作靈活性等方面都優(yōu)于傳統(tǒng)模型。
　　 (5)最后根據(jù)對Dwarf上點查詢和范圍查詢的特點的分析和對Windows磁盤管理子系統(tǒng)的分析,提出了一個加速數(shù)據(jù)立方查詢的自定義緩沖機(jī)制,在基于自定義緩沖區(qū)的查詢系統(tǒng)中,在聚簇Dwarf的基

8、礎(chǔ)上對維排序?qū)傩赃M(jìn)行了重新選擇,將一部分經(jīng)常被查詢到的Dwarf節(jié)點放在自定義的緩沖區(qū)中以減少I/O次數(shù)加快查詢速度,自定義緩沖機(jī)制對查詢性能的提升十分顯著。
　　 總之,本文研究了數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)立方構(gòu)建的相關(guān)問題,提出了基于物化視圖策略、索引策略、語義壓縮策略和緩沖策略的新的數(shù)據(jù)立方構(gòu)建算法,設(shè)計了一種適合動態(tài)泛化統(tǒng)計分析的數(shù)據(jù)立方模型,有效地解決了一系列數(shù)據(jù)立方構(gòu)建和查詢的相關(guān)問題,理論分析和大量的實驗結(jié)果證明了這些算法