Query Engine的設(shè)計與實(shí)現(xiàn).pdf

1、目前工業(yè)界尤其是互聯(lián)網(wǎng)行業(yè)，在日常的業(yè)務(wù)運(yùn)轉(zhuǎn)中產(chǎn)出了大量的用戶與服務(wù)數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行存儲、處理和分析的需求也在急劇的增長，這些數(shù)據(jù)的量已經(jīng)遠(yuǎn)遠(yuǎn)超出了單臺計算機(jī)的處理能力；如何對海量數(shù)據(jù)進(jìn)行管理和分析成為一個研究的熱點(diǎn)。分布式思想和基于異構(gòu)數(shù)據(jù)源的數(shù)據(jù)分析為我們提供一個解決問題的思路。針對百度特定的應(yīng)用需求，現(xiàn)有統(tǒng)一資源查詢平臺暴露出的問題，以及對業(yè)界現(xiàn)有系統(tǒng)的調(diào)研分析，設(shè)計實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢引擎 Query Engine

2、。本文主要研究了對HDFS上數(shù)據(jù)的高效Ad hoc查詢，在此基礎(chǔ)上實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢功能，Query Engine作為一個中間的服務(wù)層，對用戶屏蔽了底層存儲的異構(gòu)性。
　　本研究主要內(nèi)容包括：⑴設(shè)計實(shí)現(xiàn)了Clinet子模塊，參與Query Server子模塊的設(shè)計與代碼的編寫。Client子模塊是一個命令行交互界面，接收用戶輸入的命令行，對命令選項(xiàng)進(jìn)行解析；向Query Server請求一個Query Master為其

3、服務(wù)，然后將解析好的命令行提交給Query Master。Query Server負(fù)責(zé)維護(hù)系統(tǒng)中所有Query Master信息。⑵實(shí)現(xiàn)了基于異構(gòu)數(shù)據(jù)源的高效查詢。Query Engine系統(tǒng)是搭建在異構(gòu)數(shù)據(jù)源的一個服務(wù)層，Query Master子模塊對SQL進(jìn)行解析，通過MetaServer上全局的元數(shù)據(jù)信息將SQL編譯成物理執(zhí)行計劃，MapReduce Node根據(jù)執(zhí)行計劃中的依賴關(guān)系進(jìn)行分布式計算，最后將不同數(shù)據(jù)源上的計算結(jié)果合

4、并，對用戶屏蔽底層異構(gòu)存儲。⑶Query Engine系統(tǒng)架構(gòu)設(shè)計。通過對分布式計算和分布式存儲基礎(chǔ)理論的深入分析和當(dāng)前業(yè)界現(xiàn)有系統(tǒng)架構(gòu)的調(diào)研，提出了基于異構(gòu)數(shù)據(jù)源的高效查詢引擎Query Engine的架構(gòu)；然后對各子模塊的功能進(jìn)行細(xì)化分析，給出了子模塊的框架圖、時序圖，并逐一實(shí)現(xiàn)了這些子模塊；Query Engine通過建庫、建表、權(quán)限管理等功能很好的支持了對海量數(shù)據(jù)的管理，通過實(shí)現(xiàn)基于異構(gòu)數(shù)據(jù)源的查詢功能很好的支持了對海量數(shù)據(jù)數(shù)據(jù)