分布式數(shù)據(jù)庫中間件中的查詢優(yōu)化.pdf

1、伴隨著數(shù)據(jù)規(guī)模的急劇增長(zhǎng)，集中式數(shù)據(jù)庫在存儲(chǔ)和計(jì)算等方面的局限性日趨顯著，數(shù)據(jù)管理向分布式發(fā)展已成為趨勢(shì)。為了對(duì)目前廣泛應(yīng)用的MySQL、PostGreSQL等開源數(shù)據(jù)庫提供分布式支持，Amoeba、Cobar、MyCat等一系列數(shù)據(jù)庫中間件應(yīng)運(yùn)而生，這些分布式數(shù)據(jù)庫中間件為用戶提供了透明的構(gòu)建數(shù)據(jù)庫集群的方案，能夠平滑的將現(xiàn)有單機(jī)集中式數(shù)據(jù)庫和應(yīng)用遷移到“云”端。然而分布式數(shù)據(jù)庫中間件目前發(fā)展尚不夠完善，在包含連接、子查詢等操作的復(fù)雜

2、查詢及針對(duì)增量數(shù)據(jù)集的分析查詢中，性能較為低下，很大程度上的影響了分布式數(shù)據(jù)庫中間件的推廣和應(yīng)用。針對(duì)上述問題，本文進(jìn)行了如下研究：
　　首先，論文闡述了分布式數(shù)據(jù)庫中間件等相關(guān)概念，對(duì)分布式數(shù)據(jù)查詢優(yōu)化的發(fā)展歷程和國(guó)內(nèi)外關(guān)于分布式數(shù)據(jù)庫性能優(yōu)化研究進(jìn)行了概述和總結(jié)，介紹了數(shù)據(jù)分片的概念和相關(guān)技術(shù)。本文從分布式數(shù)據(jù)庫中間件的查詢模式出發(fā)，分析了分布式數(shù)據(jù)庫中間件查詢優(yōu)化的目標(biāo)及途徑等關(guān)鍵問題。
　　然后，為減少連接、子查詢等

3、查詢過程中的數(shù)據(jù)傳輸量，論文提出一種基于關(guān)系的分布式數(shù)據(jù)分片方法，其主要策略是構(gòu)建數(shù)據(jù)集的依賴模型圖，然后依據(jù)起始表的主鍵對(duì)數(shù)據(jù)進(jìn)行分片，其他表參照起始表根據(jù)連接鍵進(jìn)行相應(yīng)的數(shù)據(jù)分片，分片盡可能的保證對(duì)于所有查詢數(shù)據(jù)是本地化的。論文也對(duì)分片過程中的存儲(chǔ)、查詢等諸多細(xì)節(jié)進(jìn)行了詳細(xì)探討，并在開源分布式數(shù)據(jù)庫中間件MyCat上，分別使用TPC-H數(shù)據(jù)集和SSB數(shù)據(jù)集對(duì)本文提出的方法進(jìn)行了實(shí)驗(yàn)。通過對(duì)比和分析，驗(yàn)證了本文的方法能夠有效的減少分布

4、式數(shù)據(jù)庫中查詢操作的數(shù)據(jù)傳輸量,提高系統(tǒng)查詢效率。
　　最后，本文基于分布式數(shù)據(jù)庫中間件，提出了一種增量更新數(shù)據(jù)的查詢優(yōu)化策略來減少單個(gè)數(shù)據(jù)節(jié)點(diǎn)的查詢執(zhí)行時(shí)間。通過存儲(chǔ)歷史查詢記錄和歷史結(jié)果集，結(jié)合數(shù)據(jù)表的增量更新記錄，對(duì)同一查詢操作僅計(jì)算其增量結(jié)果集，通過數(shù)據(jù)節(jié)點(diǎn)上的結(jié)果合并和分布式數(shù)據(jù)庫中間件中的結(jié)果合并生成最終結(jié)果。為了減少系統(tǒng)耦合，本文利用本地?cái)?shù)據(jù)庫節(jié)點(diǎn)管理查詢?nèi)罩竞蜌v史結(jié)果，使用分布式數(shù)據(jù)庫中間件控制查詢的分解和結(jié)果的生