基于Hadoop的聯(lián)機分析處理系統(tǒng)關鍵技術研究.pdf

1、近年來，多維數(shù)據(jù)查詢聯(lián)機分析處理技術（Online Analytical Processing,OLAP）越來越重要?；贠LAP的多維分析技術成為企業(yè)管理人員重要的決策依據(jù)。目前，針對OLAP的研究都是面向單一數(shù)據(jù)模型的存儲處理和相應OLAP查詢性能上的優(yōu)化。單一數(shù)據(jù)組織模式的基于關系數(shù)據(jù)庫的ROLAP（Relational-OLAP）和基于多維數(shù)據(jù)庫的MOLAP（Multidimensional-OLAP），無法滿足在不同規(guī)模級別數(shù)

2、據(jù)集下異構數(shù)據(jù)模型和低延遲的多維查詢需求。
　　針對以上問題，本文從不同數(shù)據(jù)組織模型的查詢規(guī)劃、查詢解釋、緩存查詢優(yōu)化機制等方面改進，設計和實現(xiàn)了一個可擴展性和高效性的分布式混合型聯(lián)機分析處理（Hybrid-OLAP,HOLAP）系統(tǒng)。該系統(tǒng)旨在解決不同規(guī)模級別數(shù)據(jù)集的多維查詢，根據(jù)不同多維組織的實現(xiàn)模式作出高效合理的查詢處理?；谠撓到y(tǒng)下的研究主要包括以下四個方面的內(nèi)容：
　　第一，針對傳統(tǒng)ROLAP系統(tǒng)無法高效地解決大規(guī)

3、模數(shù)據(jù)集的多維分析問題，提出了一個能夠在Hadoop環(huán)境下，滿足不同規(guī)模級別數(shù)據(jù)集進行快速多維查詢分析，同時支持Hive的MDX（Multidimensional Expressions）查詢解釋和聚集方法，以及基于Hbase預計算緩存機制的多維查詢優(yōu)化方法的HOLAP系統(tǒng)架構。
　　第二，針對大規(guī)模數(shù)據(jù)集上的Hive多維查詢優(yōu)化，通過一種構建Hbase立方體緩存的分段逐層降維聚集算法（S-Redu-D-A），研究了從類似關系型數(shù)

4、據(jù)庫Hive到Nosql數(shù)據(jù)庫中，Hbase數(shù)據(jù)模型的形式化方法（Hsql-To-Nosql Formalized Model,Hs-Nos-FM）。提出并驗證了滿足HOLAP高效地形式化多維立方體（Format Multi Cube,F-M-Cube）數(shù)據(jù)存儲模型，在大規(guī)模數(shù)據(jù)集多維查詢上表現(xiàn)出良好的性能。
　　第三，針對兩種查詢計劃，通過實時性要求、數(shù)據(jù)規(guī)模、維度基數(shù)、存儲空間、多表連接、查詢頻率等指標進行查詢規(guī)劃計算分析；提

5、出了包含權限控制、查詢監(jiān)聽、查詢分析和查詢分配的查詢規(guī)劃工作流程。通過對不同規(guī)模數(shù)據(jù)、不同多維查詢的執(zhí)行時間對比分析，有效地驗證了基于HOLAP系統(tǒng)架構的查詢規(guī)劃方法，在常見OLAP多維查詢中表現(xiàn)出良好的性能。
　　最后，本文通過HOLAP系統(tǒng)架構下的查詢規(guī)劃方法、查詢解釋機制、形式化多維立方體構建方法、聚集緩存機制、支持Hive的MDX查詢，并嵌入形式化方法的構建算法進行詳細設計和實現(xiàn)。經(jīng)過測試，本系統(tǒng)具有良好的性能，達到了預期