列存儲(chǔ)數(shù)據(jù)倉庫中的查詢優(yōu)化研究.pdf

1、數(shù)據(jù)倉庫查詢一直是數(shù)據(jù)庫領(lǐng)域的研究重點(diǎn)。近年的研究發(fā)現(xiàn)列存儲(chǔ)體系僅從磁盤或內(nèi)存中讀取與查詢相關(guān)的列，相對(duì)于行存儲(chǔ)來說，更適合OLAP、數(shù)據(jù)倉庫等查詢密集型應(yīng)用。作為一個(gè)較少更新的讀優(yōu)先系統(tǒng)，基于列存儲(chǔ)的數(shù)據(jù)倉庫系統(tǒng)能提高查詢性能的思想已經(jīng)占據(jù)了主導(dǎo)地位。
　　 論文研究了數(shù)據(jù)倉庫技術(shù)、列存儲(chǔ)技術(shù)、以及現(xiàn)有的查詢優(yōu)化技術(shù)。設(shè)計(jì)實(shí)現(xiàn)了列存儲(chǔ)數(shù)據(jù)倉庫查詢模塊，包括詞法語法分析器、預(yù)處理器、查詢優(yōu)化器以及計(jì)劃產(chǎn)生器。尤其是在查詢優(yōu)化方面

2、，結(jié)合基于規(guī)則的優(yōu)化方法(RBO)和基于代價(jià)的優(yōu)化方法(CBO)設(shè)計(jì)了查詢優(yōu)化器，提出了列的連接策略優(yōu)化方法。
　　 首先，論文分析了數(shù)據(jù)倉庫查詢特點(diǎn)以及現(xiàn)有的列存儲(chǔ)查詢優(yōu)化技術(shù)，詳細(xì)討論了列存儲(chǔ)系統(tǒng)PAX、InfoBright、C-Store以及MonetDB的存儲(chǔ)方式和查詢方式，并總結(jié)了列存儲(chǔ)和行存儲(chǔ)的查詢特點(diǎn)差異。
　　 然后，論文對(duì)列存儲(chǔ)的查詢模塊進(jìn)行了深入探究，設(shè)計(jì)實(shí)現(xiàn)了查詢編譯器的各個(gè)功能模塊。首先利用開源工

3、具Flex和Bison，結(jié)合本系統(tǒng)語法樹結(jié)構(gòu)實(shí)現(xiàn)了詞法語法分析器;根據(jù)SQL語句的標(biāo)準(zhǔn)和本系統(tǒng)查詢樹結(jié)構(gòu)設(shè)計(jì)實(shí)現(xiàn)了預(yù)處理器，包括它的三大功能模塊:語義分析、對(duì)象特征綁定以及部分邏輯計(jì)劃的生成;在剖析現(xiàn)有的列存儲(chǔ)連接策略的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一種新的列存儲(chǔ)查詢優(yōu)化方法。該方法利用基于規(guī)則的優(yōu)化方法為列存儲(chǔ)數(shù)據(jù)查詢制定優(yōu)化規(guī)則，過濾掉不可能產(chǎn)生最優(yōu)計(jì)劃的候選計(jì)劃。然后設(shè)計(jì)實(shí)現(xiàn)了基于代價(jià)的優(yōu)化方法:根據(jù)動(dòng)態(tài)Huffman樹原理和左深連接樹原理對(duì)