數(shù)據(jù)立方體生成技術(shù)研究.pdf

1、隨著企業(yè)聯(lián)機(jī)事務(wù)處理系統(tǒng)的建立、運(yùn)行和發(fā)展，業(yè)務(wù)數(shù)據(jù)大量積累，數(shù)據(jù)源分散異構(gòu)，人們發(fā)現(xiàn)僅依賴聯(lián)機(jī)事務(wù)處理系統(tǒng)已經(jīng)不足以獲得市場(chǎng)競(jìng)爭(zhēng)的優(yōu)勢(shì)，數(shù)據(jù)倉(cāng)庫(kù)的思想、技術(shù)和產(chǎn)品開始形成并迅速發(fā)展，為科學(xué)決策提供了良好的技術(shù)解決方案。 數(shù)據(jù)立方體是數(shù)據(jù)倉(cāng)庫(kù)中多維數(shù)據(jù)模型的核心，業(yè)界對(duì)多維數(shù)據(jù)模型以及數(shù)據(jù)立方體的生成和維護(hù)己經(jīng)做了大量的研究工作。物化視圖的選擇和視圖的生成算法是立方體生成中的兩個(gè)重點(diǎn)。 數(shù)據(jù)立方體生成技術(shù)的研究在如何減少

2、其存儲(chǔ)代價(jià)、查詢時(shí)間和維護(hù)(更新)時(shí)間上，以及如何在這幾者之間達(dá)到較佳的平衡還沒(méi)有找到很好的算法。 針對(duì)上述問(wèn)題，在全面系統(tǒng)學(xué)習(xí)和總結(jié)了國(guó)內(nèi)外立方體生成技術(shù)的最新成果的基礎(chǔ)上，本論文主要做了以下工作： 1)通過(guò)把數(shù)據(jù)立方體中的維分為劃分維和非劃分維，定義了一個(gè)等價(jià)關(guān)系，使得具有相同劃分維的視圖構(gòu)成了一個(gè)等價(jià)類。把等價(jià)類組織成主流水線，等價(jià)類中的視圖組織成次流水線，給出了兩層流水線數(shù)據(jù)立方體串行算法，可以充分的利用物理內(nèi)存

3、，大大減少讀原始數(shù)據(jù)的次數(shù)和處理機(jī)之間的通訊開銷，縮短了計(jì)算時(shí)間。 2)Cube算子的計(jì)算在OLAP應(yīng)用中起著極為重要的作用。本論文分析了在高維Cube算子計(jì)算中傳統(tǒng)流水線方法的不足之處，提出了通過(guò)有選擇地實(shí)例化Cube中的部分節(jié)點(diǎn)以提高0LAP性能的解決方案，并給出了一個(gè)獲取需要實(shí)例化節(jié)點(diǎn)的算法。 3)立方體生成過(guò)程中，總受到系統(tǒng)資源的限制，本論文通過(guò)采用一種關(guān)系和多維數(shù)組混合存儲(chǔ)結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù)立方體，它結(jié)合了流水線聚