基于Hbase的OLAP多維數(shù)據(jù)聚集計(jì)算.pdf

1、OLAP（On-LineAnalyticalProcessing，聯(lián)機(jī)分析處理）是隨著數(shù)據(jù)倉庫技術(shù)出現(xiàn)的一種數(shù)據(jù)分析處理技術(shù)，它允許用戶快速地從不同的角度和層次分析大量多維數(shù)據(jù)，主要用于決策支持。隨著應(yīng)用的發(fā)展，OLAP要處理的數(shù)據(jù)規(guī)模越來越大，已發(fā)展到TB級(jí)和PB級(jí)，數(shù)據(jù)的維數(shù)也已過百。在這種情況下，作為OLAP的傳統(tǒng)存儲(chǔ)結(jié)構(gòu)，關(guān)系數(shù)據(jù)庫和多維數(shù)據(jù)庫都從本質(zhì)上制約著OLAP的發(fā)展。因?yàn)殛P(guān)系數(shù)據(jù)庫在查詢時(shí)需要掃描整行數(shù)據(jù)，查詢效率較低;

2、多維數(shù)據(jù)庫雖然能快速響應(yīng)查詢，但其更新代價(jià)太高、靈活性低且不支持大規(guī)模數(shù)據(jù)存儲(chǔ)。為解決此問題，本文給出了基于列數(shù)據(jù)庫HBase的OLAP多維數(shù)據(jù)存儲(chǔ)技術(shù)和基于MapReduce的基本聚集計(jì)算方法。
　　 首先，本文在對(duì)OLAP和列存儲(chǔ)的研究基礎(chǔ)上，提出了一種新穎的將列存儲(chǔ)結(jié)構(gòu)應(yīng)用于OLAP的思想，指出選擇HBase用于OLAP的優(yōu)勢(shì)。然后對(duì)HBase的數(shù)據(jù)模型、體系結(jié)構(gòu)等關(guān)鍵技術(shù)進(jìn)行了分析，將HBase與OLAP的多維數(shù)據(jù)模型結(jié)

3、合，給出了OLAP多維數(shù)據(jù)在HBase上的存儲(chǔ)方法和數(shù)據(jù)加載算法，具有較好的可擴(kuò)展性，并給出了HBase存儲(chǔ)的優(yōu)化策略;對(duì)MapReduce編程模型的工作機(jī)制、使用方法進(jìn)行了分析，給出了基于MapReduce的5種基本聚集計(jì)算算法，并給出了聚集計(jì)算性能的優(yōu)化策略。實(shí)驗(yàn)結(jié)果顯示，本文的數(shù)據(jù)加載和聚集計(jì)算算法的速度都要明顯好于關(guān)系數(shù)據(jù)庫，并具有良好的可擴(kuò)展性，驗(yàn)證了本文采用HBase和MapReduce來存儲(chǔ)和計(jì)算OLAP多維數(shù)據(jù)的有效性和