基于Spark系統(tǒng)的查詢分析及優(yōu)化研究.pdf

1、當(dāng)前，我們正處在大數(shù)據(jù)時(shí)代，信息的爆炸式增長(zhǎng)使得傳統(tǒng)的技術(shù)架構(gòu)無(wú)法滿足海量數(shù)據(jù)的處理需求，大數(shù)據(jù)平臺(tái)的研究與發(fā)展在這種環(huán)境下應(yīng)運(yùn)而生。Hadoop的誕生使人們開(kāi)始關(guān)注MapReduce這一計(jì)算模式，并且去尋找性能更加好的大數(shù)據(jù)平臺(tái)。Spark計(jì)算框架通過(guò)引入RDD(彈性分布式數(shù)據(jù)集)數(shù)據(jù)模型和基于內(nèi)存的運(yùn)算模式，使其與Hadoop相比有更好的適用性。
　　Spark大數(shù)據(jù)平臺(tái)在關(guān)系查詢的性能方面遠(yuǎn)遠(yuǎn)高于MapReduce集群，這是

2、因?yàn)镾park SQL模塊集成了關(guān)系處理和Spark的功能編程API，在MapReduce集群中無(wú)法執(zhí)行的SQL語(yǔ)句和數(shù)據(jù)實(shí)時(shí)分析在Spark SQL中可以得到很好的執(zhí)行。但伴隨著用戶量和數(shù)據(jù)量的不斷增大，Spark SQL在表間關(guān)聯(lián)查詢中的Join操作性能較差，嚴(yán)重影響了Spark的應(yīng)用。
　　首先，本文重點(diǎn)研究基于Spark系統(tǒng)的Spark SQL模塊中的優(yōu)化器Catalyst，探討了優(yōu)化器Catalyst的運(yùn)行機(jī)制，分析了優(yōu)

3、化器Catalyst處理查詢語(yǔ)句的整個(gè)過(guò)程，并對(duì)查詢語(yǔ)句的解析、綁定、優(yōu)化和生成物理計(jì)劃等方面進(jìn)行深入全面的解析。
　　其次，在吸取其他研究者的優(yōu)秀策略以及Spark SQL自身提供的Broadcast Join和Hash Join的基礎(chǔ)之上，針對(duì)Spark系統(tǒng)的大表間等值連接操作提出一種基于Partial Bloom Filter的Spark Join優(yōu)化方案，該Spark Join優(yōu)化方案能較好的預(yù)先過(guò)濾掉表中大部分不符合連接

4、條件的記錄，使Shuffle階段的數(shù)據(jù)量明顯降低，從而有效地提高大表間等值連接的性能。
　　最后，對(duì)本文提出的基于Partial Bloom Filter的Spark Join優(yōu)化方案與SparkSQL自身提供的Hash Join連接操作進(jìn)行了實(shí)驗(yàn)測(cè)試，并對(duì)兩種方案的網(wǎng)絡(luò)通信開(kāi)銷，磁盤(pán)I/O開(kāi)銷，時(shí)間消耗等數(shù)據(jù)指標(biāo)進(jìn)行了分析。實(shí)驗(yàn)結(jié)果表明，本文提出的基于Partial Bloom Filter的Spark Join優(yōu)化方案，通過(guò)在