基于HBase查詢(xún)引擎的業(yè)務(wù)支撐系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，電商行業(yè)不斷發(fā)展，對(duì)于大數(shù)據(jù)的存儲(chǔ)、抽取、計(jì)算、分析以及展示越來(lái)越受到各大電商的關(guān)注。隨著電商數(shù)據(jù)的爆炸性增長(zhǎng)和對(duì)大數(shù)據(jù)處理分析的迫切需求，同時(shí)由于數(shù)據(jù)存儲(chǔ)空間與數(shù)據(jù)訪(fǎng)問(wèn)時(shí)間之間的矛盾激化，各大電商選擇分布式的存儲(chǔ)系統(tǒng)HBase來(lái)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，以滿(mǎn)足對(duì)數(shù)據(jù)高效的插入和讀取操作，但其查詢(xún)所得到的K-V數(shù)據(jù)模型無(wú)法滿(mǎn)足上層各個(gè)系統(tǒng)對(duì)業(yè)務(wù)數(shù)據(jù)模型的需求。為解決此問(wèn)題，提出了業(yè)務(wù)支撐系統(tǒng)的需求，通過(guò)HBase查詢(xún)引擎查詢(xún)數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)

2、化兩個(gè)數(shù)據(jù)模型轉(zhuǎn)化的階段，完成由K-V數(shù)據(jù)模型到關(guān)系型數(shù)據(jù)模型最后到業(yè)務(wù)數(shù)據(jù)模型的轉(zhuǎn)化。
　　論文以當(dāng)前大數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)展為基礎(chǔ)，分布式類(lèi)SQL查詢(xún)技術(shù)以及數(shù)據(jù)實(shí)時(shí)計(jì)算為背景，分析了當(dāng)前分布式數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)標(biāo)準(zhǔn)化的現(xiàn)狀，總結(jié)出目前對(duì)于大數(shù)據(jù)的查詢(xún)以及標(biāo)準(zhǔn)化的要求。從技術(shù)的角度介紹了類(lèi)SQL解析、緩存策略、協(xié)處理器以及實(shí)時(shí)計(jì)算，實(shí)現(xiàn)了高效的數(shù)據(jù)查詢(xún)操作。并為之后的基于HBase的查詢(xún)引擎以及數(shù)據(jù)標(biāo)準(zhǔn)化平臺(tái)的實(shí)現(xiàn)和發(fā)展提供了參考和依據(jù)。

3、
　　論文使用Java語(yǔ)言開(kāi)發(fā)了業(yè)務(wù)支撐系統(tǒng)，實(shí)現(xiàn)了HBase查詢(xún)引擎和數(shù)據(jù)的標(biāo)準(zhǔn)化，其設(shè)計(jì)上分為物理邏輯模型層、數(shù)據(jù)邏輯模型層和業(yè)務(wù)邏輯模型層。物理邏輯模型層主要通過(guò)消息隊(duì)列和離線(xiàn)數(shù)據(jù)計(jì)算及調(diào)度任務(wù)將底層的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)JRDW和離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)JDW中的數(shù)據(jù)抽出到HBase分布式存儲(chǔ)系統(tǒng)中。數(shù)據(jù)邏輯模型層主要分為 K-V數(shù)據(jù)邏輯模型和關(guān)系型數(shù)據(jù)邏輯模型，通過(guò)類(lèi)SQL的HBase查詢(xún)引擎RunSQL將查詢(xún)所得的K-V數(shù)據(jù)邏輯模型轉(zhuǎn)化為

4、關(guān)系型數(shù)據(jù)邏輯模型，通過(guò)協(xié)處理器對(duì)數(shù)據(jù)進(jìn)行并行的計(jì)算，傳遞到客戶(hù)端進(jìn)行數(shù)據(jù)歸并后將數(shù)據(jù)傳遞到上層業(yè)務(wù)數(shù)據(jù)邏輯層，這一階段，HBase查詢(xún)引擎通過(guò)使用數(shù)據(jù)實(shí)時(shí)計(jì)算接入監(jiān)控。業(yè)務(wù)邏輯模型層將關(guān)系型數(shù)據(jù)邏輯模型通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)化對(duì)數(shù)據(jù)進(jìn)行業(yè)務(wù)處理，最后將標(biāo)準(zhǔn)化數(shù)據(jù)開(kāi)放，提供給上層業(yè)務(wù)應(yīng)用。
　　經(jīng)過(guò)實(shí)際的測(cè)試，證明了本系統(tǒng)完成了對(duì)類(lèi)SQL語(yǔ)言的解析，以及對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算的流程，并且通過(guò)元數(shù)據(jù)將數(shù)據(jù)與業(yè)務(wù)分離并將數(shù)據(jù)以服務(wù)接口的方式對(duì)外提供