基于超圖和濃密樹的大數(shù)據(jù)實時查詢優(yōu)化研究與實現(xiàn).pdf

1、Impala是Cloudera公司推出的大數(shù)據(jù)實時查詢系統(tǒng)，其利用分布式技術(shù)，使用Hadoop作為存儲，通過Hive的元數(shù)據(jù)表獲取統(tǒng)計信息，實現(xiàn)大數(shù)據(jù)的高效查詢。Impala的最新版本提供了一些查詢優(yōu)化技術(shù)，但目前只支持左深樹形式的查詢計劃，同時由于目前基于McCHyp(MinCutConservative Hypergraph)算法的查詢優(yōu)化存在搜索空間大、優(yōu)化時間較長的問題，本文提出了基于濃密樹和改進(jìn)的McCHyp算法的Impala

2、查詢優(yōu)化方法。首先分析Impala系統(tǒng)生成查詢計劃的方法，修改構(gòu)建流程使其支持濃密樹形式的查詢計劃;接著分析McCHyp算法并使用剪枝策略對其進(jìn)行改進(jìn)，減少優(yōu)化算法執(zhí)行的時間，同時對剪枝策略的完整性和正確性進(jìn)行了說明;然后通過分析多種經(jīng)典的代價模型，提出一種綜合考慮了磁盤I/O、網(wǎng)絡(luò)傳輸和右表大小的代價模型，并將改進(jìn)的McCHyp算法集成到Impala2.0系統(tǒng)中，根據(jù)用戶的SQL語句生成最優(yōu)查詢計劃。最后從優(yōu)化算法、代價模型、查詢性能