基于MapReduce架構(gòu)的實時數(shù)據(jù)倉庫關(guān)鍵技術(shù)研究.pdf

1、隨著數(shù)字技術(shù)和計算機信息化的普及和發(fā)展，大多數(shù)企業(yè)都采用了計算機進行管理和運營。這些計算機系統(tǒng)通常都具有強大的收集、存儲和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控數(shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計數(shù)據(jù)、財經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等，這些日積月累的數(shù)據(jù)形成了一個巨大的“寶藏”。隨著市場競爭的加劇和信息社會需求的發(fā)展，從大量數(shù)據(jù)中挖掘規(guī)律性知識，指導(dǎo)制定生產(chǎn)和營銷策略，就顯得越來越重要。數(shù)據(jù)倉庫技術(shù)正是為此提供解決方案而產(chǎn)生的，也是目前學(xué)術(shù)界和工業(yè)界研究開發(fā)的熱點問題之一。

2、
　　隨著企業(yè)對數(shù)據(jù)倉庫的熟悉，數(shù)據(jù)倉庫支持預(yù)測分析的能力越來越好地被用來驅(qū)動商業(yè)決策。然而傳統(tǒng)數(shù)據(jù)倉庫是周期性更新的，決策所用的信息和數(shù)據(jù)并沒有包括最新的生產(chǎn)數(shù)據(jù)和信息，基于傳統(tǒng)數(shù)據(jù)倉庫的戰(zhàn)略決策在時間的實時性上不能滿足要求。隨著業(yè)務(wù)節(jié)奏的加快，需要分析的實時數(shù)據(jù)信息的數(shù)量呈爆炸性增長。數(shù)據(jù)倉庫必須有能力支持快速的業(yè)務(wù)分析，能夠?qū)⒆钚滦畔⒈M快反映給決策者，使決策者對瞬息萬變的商業(yè)形勢做出快速的反應(yīng)。因此，實時數(shù)據(jù)倉庫技術(shù)隨之應(yīng)運

3、而生。實時數(shù)據(jù)倉庫技術(shù)與傳統(tǒng)數(shù)據(jù)倉庫有很大的不同，它既要為商業(yè)決策提供實時的數(shù)據(jù)保證，又要提供更快速的查詢分析。為此，本文針對實時數(shù)據(jù)倉庫中的實時體系結(jié)構(gòu)建模、更新與查詢調(diào)度、并行數(shù)據(jù)倉庫查詢、并行數(shù)據(jù)立方構(gòu)建等關(guān)鍵問題進行了研究。主要工作包含以下幾點:
　　(1)設(shè)計了實時數(shù)據(jù)倉庫的總體框架結(jié)構(gòu)，并針對靈活可變卻又十分重要的實時數(shù)據(jù)存儲區(qū)的設(shè)計方法進行了研究，包括ODS分區(qū)、雙鏡像交替分區(qū)、數(shù)據(jù)倉庫副本分區(qū)和多級緩存分區(qū)機制等。

4、最后將幾種實時數(shù)據(jù)存儲區(qū)設(shè)計方法進行了對比，分析了各種方法適用的環(huán)境。
　　(2)提出一種實時數(shù)據(jù)倉庫中基于優(yōu)先級的更新查詢平衡調(diào)度算法PBBS，詳細闡述了PBBS算法的系統(tǒng)結(jié)構(gòu)和算法思想。PBBS算法綜合考慮了系統(tǒng)中更新任務(wù)的優(yōu)先級、用戶查詢?nèi)蝿?wù)的優(yōu)先程度、任務(wù)隊列的實時執(zhí)行狀況、系統(tǒng)資源的使用現(xiàn)況，來進行任務(wù)的并行調(diào)度。PBBS算法不但能夠根據(jù)用戶需求調(diào)整更新與查詢的資源分配，也能夠合理利用系統(tǒng)資源，保證優(yōu)先級較高的任務(wù)優(yōu)先被

5、調(diào)度執(zhí)行。不僅減少了重要查詢的系統(tǒng)響應(yīng)時間，而且提高了重要數(shù)據(jù)的數(shù)據(jù)新鮮度。
　　(3)提出一種實時數(shù)據(jù)倉庫中的支持QoS的更新和查詢調(diào)度算法。算法首先提出了實時數(shù)據(jù)倉庫中與查詢相關(guān)的一些用戶交互式QoS參數(shù)，然后根據(jù)查詢的QoS參數(shù)要求來進行更新任務(wù)和查詢?nèi)蝿?wù)的實時調(diào)度。QoS算法能夠根據(jù)用戶的具體QoS查詢需求，合理地調(diào)整任務(wù)的執(zhí)行順序，有效地使用系統(tǒng)資源，為用戶查詢提供更快速的響應(yīng)和更高的數(shù)據(jù)實時性。
　　(4)設(shè)計了

6、基于MapReduce框架的關(guān)系型數(shù)據(jù)的并行運算操作，對傳統(tǒng)的查詢、投影、連接、除、聚集等關(guān)系運算基于MapReduce框架進行了設(shè)計并實現(xiàn);并提出一種基于分塊結(jié)構(gòu)的分布式關(guān)系數(shù)據(jù)庫ChunkDB，詳細設(shè)計了ChunkDB的整體架構(gòu)、數(shù)據(jù)分塊方式、數(shù)據(jù)存放結(jié)構(gòu)、子塊分布策略、元數(shù)據(jù)信息、容錯性和可擴展性等方面;最后設(shè)計了基于ChunkDB數(shù)據(jù)庫的MapReduce計算方法，對MapReduce框架進行了擴展，使之與ChunkDB很好地兼

7、容，方便高效地進行數(shù)據(jù)讀取。
　　(5)提出一種基于MapReduce框架的并行Dwarf數(shù)據(jù)立方構(gòu)建算法。算法首先對傳統(tǒng)的單Dwarf立方進行等價劃分，將其分割為多個獨立的子Dwarf立方;其次算法采用MapReduce架構(gòu)，對Dwarf立方進行并行地構(gòu)建、查詢和更新。并行Dwarf算法首先能夠提供高效的數(shù)據(jù)立方的建立，其次針對MapReduce機制無索引的順序掃描機制，Dwarf立方的自索引機制提供了高效的查詢;然后并行Dwa

8、rf克服了傳統(tǒng)Dwarf較低的增量更新性能，為Dwarf的實際應(yīng)用提供了條件;并且并行Dwarf具有良好的可擴展性，隨著數(shù)據(jù)量的增加，可以通過動態(tài)增加結(jié)點的方法，有效地提高Dwarf立方的性能。
　　(6)設(shè)計并實現(xiàn)了MR-RTDWH原型系統(tǒng)。通過將本文所提出的實時數(shù)據(jù)體系結(jié)構(gòu)、更新與查詢調(diào)度、基于MapReudce的關(guān)系運算、MapReduce架構(gòu)與關(guān)系數(shù)據(jù)庫的融合、實時數(shù)據(jù)立方的并行構(gòu)建等理論和方法在MR-RTDWH系統(tǒng)中的實