數(shù)據(jù)倉(cāng)庫(kù)中基于訪問(wèn)頻率的動(dòng)態(tài)物化視圖的研究.pdf

1、數(shù)據(jù)倉(cāng)庫(kù)的在線分析處理(OLAP，On-LineAnalyticalProcessing)和在線數(shù)據(jù)挖掘(OLDM，On-LineAnalyticalMining)通常要對(duì)大量的數(shù)據(jù)進(jìn)行運(yùn)算，以精簡(jiǎn)的結(jié)果來(lái)回答用戶(hù)的查詢(xún)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的這一特點(diǎn)使得物化視圖技術(shù)在數(shù)據(jù)倉(cāng)庫(kù)中尤為重要。物化視圖是經(jīng)過(guò)數(shù)據(jù)預(yù)處理而生成的表，這些表物理地存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，通過(guò)對(duì)其簡(jiǎn)單運(yùn)算或簡(jiǎn)單查找回答用戶(hù)查詢(xún)，從而能夠在很大程度上提高數(shù)據(jù)倉(cāng)庫(kù)的查詢(xún)響應(yīng)速度。由于

2、物化視圖占用存儲(chǔ)空間、需要進(jìn)行更新維護(hù)，所以物化所有的查詢(xún)對(duì)應(yīng)的視圖是不現(xiàn)實(shí)的，必須考慮選出哪些視圖進(jìn)行物化，這就是物化視圖選擇問(wèn)題(MVS，MaterializedViewsSelection)。 盡管對(duì)于MVS問(wèn)題已經(jīng)有大量的研究，然而現(xiàn)有研究還達(dá)不到工業(yè)中所要求的穩(wěn)定性、健壯性，數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)產(chǎn)品對(duì)物化視圖自動(dòng)選擇支持不夠理想?，F(xiàn)有支持物化視圖自動(dòng)選擇的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品采用的是靜態(tài)物化視圖選擇方案，這種方案違背了OLAP和決策

3、支持系統(tǒng)(DSS，DecisionSupportSystem)的動(dòng)態(tài)本質(zhì)。而數(shù)據(jù)倉(cāng)庫(kù)未來(lái)的發(fā)展對(duì)物化視圖選擇的效率、易用性、有效性和自適應(yīng)性提出了更高的要求。 本文提出了一種基于視圖訪問(wèn)頻率的動(dòng)態(tài)物化視圖方案，該方案能夠克服靜態(tài)物化視圖選擇方案的缺點(diǎn)，它具有自適應(yīng)、高效、易操作的特點(diǎn)，能解決大規(guī)模的MVS問(wèn)題。 方案根據(jù)視圖不同的訪問(wèn)需求特征，在不同階段、以不同的方式物化視圖，從而降低了整個(gè)MVS問(wèn)題的復(fù)雜度，提高了給定

4、存儲(chǔ)空間的物化視圖的有效性。系統(tǒng)調(diào)用多項(xiàng)式時(shí)間的改進(jìn)的貪心算法，自動(dòng)選出初始物化視圖，填充部分物化視圖存儲(chǔ)空間，通過(guò)對(duì)MVS本階段的子問(wèn)題規(guī)模進(jìn)行控制，提高本階段的執(zhí)行效率。方案認(rèn)為視圖的訪問(wèn)頻率反映了用戶(hù)的查詢(xún)趨勢(shì)，因此構(gòu)造了以視圖訪問(wèn)頻率為主要因素的收益模型，并以此模型計(jì)算的收益值作為物化視圖的調(diào)整標(biāo)準(zhǔn)，對(duì)物化視圖集動(dòng)態(tài)物化和調(diào)整。這樣物化視圖集能夠隨著用戶(hù)查詢(xún)趨勢(shì)的改變而改變，具有自適應(yīng)性。方案把物化視圖分為兩種：永久物化視圖和臨

5、時(shí)物化視圖，只有臨時(shí)物化視圖才可以被調(diào)整，從而避免了具有較高穩(wěn)定訪問(wèn)頻率的物化視圖被刪除。物化視圖預(yù)警線(PWL，PriorWarningLine)的引入，可以提前發(fā)現(xiàn)物化視圖存儲(chǔ)空間即將被填滿(mǎn)的狀態(tài)，提前進(jìn)行物化視圖調(diào)整前的準(zhǔn)備，從而提高系統(tǒng)響應(yīng)查詢(xún)的效率。本文提出了動(dòng)態(tài)物化選擇及調(diào)整的核心算法，采用TPC-H基準(zhǔn)數(shù)據(jù)模式、用1GB的數(shù)據(jù)構(gòu)造和填充了Oracle數(shù)據(jù)倉(cāng)庫(kù)，以此為基礎(chǔ)進(jìn)行實(shí)驗(yàn)查詢(xún)和分析對(duì)比，實(shí)驗(yàn)驗(yàn)證了收益模型和動(dòng)態(tài)物化調(diào)