MPP架構(gòu)下的分布式SQL執(zhí)行計(jì)劃生成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)今社會是一個信息急速膨脹的時代，隨著企業(yè)對數(shù)據(jù)量分析要求的急劇擴(kuò)大，簡單的添加硬件資源不僅提高了成本而且還不能滿足海量數(shù)據(jù)的大規(guī)模處理，原有的集群規(guī)模和處理數(shù)據(jù)能力已遠(yuǎn)遠(yuǎn)達(dá)不到人們的需求。因此本文提出了一種新的處理解決方案，論文中所描述的系統(tǒng)“Whale”使用MPP(Massively Parallel Processing)無共享架構(gòu)通過分布式SQL執(zhí)行實(shí)現(xiàn)了海量數(shù)據(jù)對有效信息的提取，后端使用MySQL作為分析引擎，通過上層節(jié)點(diǎn)并行

2、控制引擎的執(zhí)行，并且應(yīng)用分布式文件結(jié)構(gòu)使系統(tǒng)存儲具有可靠性。
　　首先，為了解決現(xiàn)有海量數(shù)據(jù)分析商業(yè)產(chǎn)品的瓶頸和不足，本課題認(rèn)真研究了國內(nèi)外有關(guān)數(shù)據(jù)倉庫、并行計(jì)算、分布式架構(gòu)的情況，對行業(yè)發(fā)展現(xiàn)狀有了一定了解，提出了就容錯性、復(fù)雜性分析、可擴(kuò)展性相關(guān)的需求分析和主要涉及技術(shù)。
　　其次，本文以Windows作為開發(fā)平臺，Eclipse作為開發(fā)工具，并部署在Linux集群上運(yùn)行。通過對需求分析的滿足提出了主從式架構(gòu)和工作流程，

3、系統(tǒng)被分為客戶端和服務(wù)端，通過遠(yuǎn)程過程調(diào)用實(shí)現(xiàn)端到端的通信，客戶端其主要任務(wù)是和用戶進(jìn)行交互獲取請求返回結(jié)果，這一系列的過程中，生成SQL用戶類型的查詢計(jì)劃是處理分配數(shù)據(jù)的核心步驟，所以其中對SQL語法解析、執(zhí)行計(jì)劃生成的完成是解決問題的關(guān)鍵。服務(wù)端有主守護(hù)進(jìn)程和從屬守護(hù)進(jìn)程，主守護(hù)進(jìn)程部署在中心節(jié)點(diǎn)上，從屬進(jìn)程部署在從屬節(jié)點(diǎn)上。主節(jié)點(diǎn)從客戶端接受執(zhí)行計(jì)劃并在從屬節(jié)點(diǎn)指揮一系列數(shù)據(jù)分片并行處理，從屬節(jié)點(diǎn)則通過存儲引擎做實(shí)際的數(shù)據(jù)分析。M

4、eta-Data模塊集成于主節(jié)點(diǎn)上為整個系統(tǒng)提供服務(wù)，其中包括表模式及表中數(shù)據(jù)分片位置信息等。這是一種設(shè)計(jì)合理且輕量級架構(gòu)，使用MySQL的不同存儲引擎，使得在不同場景下對海量數(shù)據(jù)的處理都能得到滿足，上層架構(gòu)使得系統(tǒng)易于向外進(jìn)行擴(kuò)展并且通過添加新節(jié)點(diǎn)來適應(yīng)不斷增長的大數(shù)據(jù)。通過上述設(shè)計(jì)系統(tǒng)解決了復(fù)雜分析、可擴(kuò)展及并行執(zhí)行能力，滿足用戶對海量數(shù)據(jù)處理的需求。
　　最后，論文從單元、功能、性能等方面對系統(tǒng)進(jìn)行測試，并通過對系統(tǒng)相關(guān)成果