面向海量數(shù)據(jù)的高性能多維OLAP技術(shù)的研究.pdf

1、隨著企業(yè)信息系統(tǒng)的完善和積累的數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)分析在現(xiàn)代企業(yè)中扮演著越來(lái)越重要的角色，OLAP（聯(lián)機(jī)分析處理），主要指的是對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的多維查詢和分析從而滿足決策分析需求，是目前數(shù)據(jù)分析領(lǐng)域最常用也是最有效的技術(shù)。OLAP經(jīng)過(guò)多年的發(fā)展，業(yè)界已經(jīng)有許多成熟的系統(tǒng)，無(wú)數(shù)的企業(yè)從OLAP技術(shù)獲益。但隨著我們進(jìn)入大數(shù)據(jù)時(shí)代，所需要處理分析的數(shù)據(jù)呈爆炸式增長(zhǎng)，傳統(tǒng)的 OLAP技術(shù)在應(yīng)對(duì)海量數(shù)據(jù)的時(shí)候遇到了極大的瓶頸，出現(xiàn)了響應(yīng)速度過(guò)慢或者根

2、本無(wú)法處理等嚴(yán)重問(wèn)題。因此研究新型 OLAP技術(shù)并設(shè)計(jì)實(shí)現(xiàn)面向海量數(shù)據(jù)的OLAP系統(tǒng)以滿足海量數(shù)據(jù)上的OLAP需求是業(yè)界迫切需要解決的問(wèn)題。而當(dāng)前日益成熟的分布式計(jì)算框架和分布式存儲(chǔ)系統(tǒng)給解決這一問(wèn)題提供了有效的途徑。
　　本論文主要結(jié)合當(dāng)前的理論技術(shù)基礎(chǔ)對(duì)面向海量數(shù)據(jù)的 OLAP技術(shù)進(jìn)行了研究，并且根據(jù)研究成果設(shè)計(jì)實(shí)現(xiàn)了一套基于預(yù)計(jì)算思想的面向海量數(shù)據(jù)的MOLAP（多維OLAP）原型框架，MOLAP的理念是通過(guò)將可能的查詢事先預(yù)

3、計(jì)算出結(jié)果生成Cube（數(shù)據(jù)立方體）以加速查詢。針對(duì)海量數(shù)據(jù)的特點(diǎn)，本論文重點(diǎn)研究了以下MOLAP相關(guān)內(nèi)容：1）妥善應(yīng)對(duì)海量數(shù)據(jù)下預(yù)計(jì)算的維度災(zāi)難問(wèn)題；2）設(shè)計(jì)海量數(shù)據(jù)適用的分布式 Cube預(yù)計(jì)算算法；3）高效地處理預(yù)計(jì)算面臨的數(shù)據(jù)增長(zhǎng)問(wèn)題；4）合理地應(yīng)對(duì)分析業(yè)務(wù)需求改變帶來(lái)的多維模型變化?；谘芯砍晒O(shè)計(jì)并實(shí)現(xiàn)的MOLAP原型框架以Spark為計(jì)算框架，以HBase為主要存儲(chǔ)組件，以Calcite為基礎(chǔ)設(shè)計(jì)實(shí)現(xiàn)了SQL查詢引擎，并提供

4、了基于Web的可視化查詢分析組件。該框架由于利用了強(qiáng)大的分布式架構(gòu)，并且實(shí)現(xiàn)了高效的Cube預(yù)計(jì)算算法和Cube優(yōu)化策略，可以對(duì)海量數(shù)據(jù)進(jìn)行預(yù)計(jì)算生成Cube以提供低延遲的SQL查詢，提供高效的OLAP分析服務(wù)。
　　論文的最后使用業(yè)界最常用的SSB測(cè)試標(biāo)準(zhǔn)對(duì)本原型框架進(jìn)行了測(cè)試，重點(diǎn)測(cè)試了Cube的預(yù)計(jì)算速度和存儲(chǔ)空間占用以及對(duì)外提供查詢服務(wù)的響應(yīng)速度，并且和業(yè)界其他的大數(shù)據(jù) OLAP系統(tǒng)進(jìn)行了對(duì)比測(cè)試分析。實(shí)驗(yàn)表明，在絕大部分