基于HBase查詢引擎的業(yè)務支撐系統(tǒng)的設計與實現(xiàn).pdf

1、近年來，電商行業(yè)不斷發(fā)展，對于大數(shù)據(jù)的存儲、抽取、計算、分析以及展示越來越受到各大電商的關注。隨著電商數(shù)據(jù)的爆炸性增長和對大數(shù)據(jù)處理分析的迫切需求，同時由于數(shù)據(jù)存儲空間與數(shù)據(jù)訪問時間之間的矛盾激化，各大電商選擇分布式的存儲系統(tǒng)HBase來對數(shù)據(jù)進行存儲，以滿足對數(shù)據(jù)高效的插入和讀取操作，但其查詢所得到的K-V數(shù)據(jù)模型無法滿足上層各個系統(tǒng)對業(yè)務數(shù)據(jù)模型的需求。為解決此問題，提出了業(yè)務支撐系統(tǒng)的需求，通過HBase查詢引擎查詢數(shù)據(jù)和數(shù)據(jù)標準

2、化兩個數(shù)據(jù)模型轉化的階段，完成由K-V數(shù)據(jù)模型到關系型數(shù)據(jù)模型最后到業(yè)務數(shù)據(jù)模型的轉化。
　　論文以當前大數(shù)據(jù)標準的發(fā)展為基礎，分布式類SQL查詢技術以及數(shù)據(jù)實時計算為背景，分析了當前分布式數(shù)據(jù)存儲和數(shù)據(jù)標準化的現(xiàn)狀，總結出目前對于大數(shù)據(jù)的查詢以及標準化的要求。從技術的角度介紹了類SQL解析、緩存策略、協(xié)處理器以及實時計算，實現(xiàn)了高效的數(shù)據(jù)查詢操作。并為之后的基于HBase的查詢引擎以及數(shù)據(jù)標準化平臺的實現(xiàn)和發(fā)展提供了參考和依據(jù)。

3、
　　論文使用Java語言開發(fā)了業(yè)務支撐系統(tǒng)，實現(xiàn)了HBase查詢引擎和數(shù)據(jù)的標準化，其設計上分為物理邏輯模型層、數(shù)據(jù)邏輯模型層和業(yè)務邏輯模型層。物理邏輯模型層主要通過消息隊列和離線數(shù)據(jù)計算及調(diào)度任務將底層的實時數(shù)據(jù)倉庫JRDW和離線數(shù)據(jù)倉庫JDW中的數(shù)據(jù)抽出到HBase分布式存儲系統(tǒng)中。數(shù)據(jù)邏輯模型層主要分為 K-V數(shù)據(jù)邏輯模型和關系型數(shù)據(jù)邏輯模型，通過類SQL的HBase查詢引擎RunSQL將查詢所得的K-V數(shù)據(jù)邏輯模型轉化為

4、關系型數(shù)據(jù)邏輯模型，通過協(xié)處理器對數(shù)據(jù)進行并行的計算，傳遞到客戶端進行數(shù)據(jù)歸并后將數(shù)據(jù)傳遞到上層業(yè)務數(shù)據(jù)邏輯層，這一階段，HBase查詢引擎通過使用數(shù)據(jù)實時計算接入監(jiān)控。業(yè)務邏輯模型層將關系型數(shù)據(jù)邏輯模型通過數(shù)據(jù)標準化對數(shù)據(jù)進行業(yè)務處理，最后將標準化數(shù)據(jù)開放，提供給上層業(yè)務應用。
　　經(jīng)過實際的測試，證明了本系統(tǒng)完成了對類SQL語言的解析，以及對數(shù)據(jù)進行實時計算的流程，并且通過元數(shù)據(jù)將數(shù)據(jù)與業(yè)務分離并將數(shù)據(jù)以服務接口的方式對外提供