云環(huán)境下直方圖立方壓縮存儲與增量更新及查詢研究與實現(xiàn).pdf

1、隨著大數(shù)據(jù)和云計算時代到來，像聯(lián)機分析處理(On Line Analytical Processing，OLAP)這種需要大量計算和存儲開銷的問題變得簡單許多。然而受數(shù)據(jù)海量化和高維化影響，OLAP技術在計算和存儲方面仍然面臨嚴峻的挑戰(zhàn)，分布式環(huán)境下的處理方式只是緩解上述挑戰(zhàn)。
　　本文提出了直方圖數(shù)據(jù)立方體的壓縮架構，分別從直方數(shù)據(jù)圖立方體的底層存儲結構，內(nèi)容壓縮，整體壓縮三個方面進行了優(yōu)化處理。首先底層存儲結構上，本文基于直方

2、圖數(shù)據(jù)立方體和封閉數(shù)據(jù)立方體技術對于直方圖數(shù)據(jù)立方體的存儲結構進行改進，提出了封閉元祖+直方圖的底層存儲結構;內(nèi)容壓縮上，本文根據(jù)直方圖數(shù)據(jù)立方體的統(tǒng)計結構信息提出計數(shù)倒轉(zhuǎn)的壓縮方法;整體壓縮上，本文借用文件壓縮進一步壓縮直方圖數(shù)據(jù)立方體;綜合上述三種壓縮技術，本文實現(xiàn)了對直方圖數(shù)據(jù)立方體的高效壓縮。
　　構建數(shù)據(jù)立方體在時間上是一種很大的開銷，前人大多都是在研究如何用盡可能少的時間構建一個完全數(shù)據(jù)立方體，而數(shù)據(jù)立方體是面向企業(yè)應

3、用的，企業(yè)會有不斷的新數(shù)據(jù)需要累加到數(shù)據(jù)立方體中。本文對數(shù)據(jù)立方體增量更新的收益與代價進行了分析研究，對數(shù)據(jù)立方體增量構建方法進行了探索，本文提出了封閉數(shù)據(jù)立方體增量更新時沒有刪除只有增加和更新的規(guī)律，并在MapReduce分布式環(huán)境下實現(xiàn)了MRC-IncreUp算法。
　　封閉數(shù)據(jù)立方體的查詢實現(xiàn)才是OLAP的最終目的，本文提出了基于查詢鍵的直接查詢和基于封閉原則編碼分類的分類查詢，另外為了實現(xiàn)交互式查詢，本文引入了Impala