基于元數(shù)據(jù)分布式查詢與優(yōu)化方法的應(yīng)用研究.pdf

1、隨著數(shù)據(jù)和業(yè)務(wù)的復(fù)雜化，查詢滿足條件的數(shù)據(jù)也會(huì)越來(lái)越復(fù)雜，當(dāng)向分布式數(shù)據(jù)源查詢信息時(shí)，編程人員需要了解各種數(shù)據(jù)的存儲(chǔ)位置，存儲(chǔ)方式和存儲(chǔ)結(jié)構(gòu)，需要調(diào)用很多接口來(lái)獲取相關(guān)數(shù)據(jù)。這通常需要花費(fèi)大量的編程精力，并要求編程人員對(duì)數(shù)據(jù)接口具有較高的熟悉程度。如果能夠向程序員提供統(tǒng)一的數(shù)據(jù)編程接口，屏蔽后端存取細(xì)節(jié)，將大大地提高程序員的編程效率。
　　本課題研究了一種基于元數(shù)據(jù)的分布式查詢方法，運(yùn)用元數(shù)據(jù)定義和管理各數(shù)據(jù)源關(guān)鍵信息的虛擬表。然

2、后針對(duì)數(shù)據(jù)量級(jí)的不同，設(shè)計(jì)了小數(shù)據(jù)和大數(shù)據(jù)這兩種不同的查詢以及優(yōu)化方案。在小數(shù)據(jù)查詢方面，利用虛擬表、語(yǔ)法分析樹和內(nèi)存數(shù)據(jù)庫(kù)實(shí)現(xiàn)小數(shù)據(jù)查詢，通過(guò)復(fù)制、移動(dòng)和分割虛擬SQL查詢語(yǔ)法樹分支進(jìn)行優(yōu)化。在大數(shù)據(jù)查詢方面，運(yùn)用Pig、Hadoop、python來(lái)實(shí)現(xiàn)大數(shù)據(jù)查詢;通過(guò)優(yōu)化Pig代碼，使用多進(jìn)程處理HDFS的小文件合并及文件上傳下載，對(duì)高頻業(yè)務(wù)建立索引等來(lái)實(shí)現(xiàn)大數(shù)據(jù)的優(yōu)化。
　　利用元數(shù)據(jù)信息構(gòu)建虛擬表，實(shí)現(xiàn)對(duì)分布式數(shù)據(jù)源的統(tǒng)一

3、查詢;利用LEMON語(yǔ)法解析器對(duì)用戶提交的針對(duì)虛擬表的SQL語(yǔ)句進(jìn)行語(yǔ)法分析和語(yǔ)法檢測(cè)。在小數(shù)據(jù)查詢方面，利用語(yǔ)法樹進(jìn)行語(yǔ)義優(yōu)化;利用內(nèi)存數(shù)據(jù)庫(kù)實(shí)現(xiàn)多數(shù)據(jù)源結(jié)果集合并。在大數(shù)據(jù)查詢方面，利用Pig腳本提交任務(wù);Hadoop實(shí)現(xiàn)分布式計(jì)算和查詢;通過(guò)多進(jìn)程處理HDFS小文件的合并以及文件的上傳下載來(lái)減少NameNode節(jié)點(diǎn)的負(fù)載，提升上傳下載的速度;對(duì)高頻業(yè)務(wù)建立索引，能快速查找數(shù)據(jù)，減少數(shù)據(jù)加載量實(shí)現(xiàn)了數(shù)據(jù)查詢的優(yōu)化，達(dá)到了優(yōu)化目的。<