面向數(shù)據(jù)庫(kù)集群的節(jié)能查詢技術(shù)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)中心需要處理的數(shù)據(jù)量越來(lái)越多，全球數(shù)據(jù)中心的數(shù)量與規(guī)模都在高速擴(kuò)張。數(shù)據(jù)中心擴(kuò)張帶來(lái)了更高處理性能的同時(shí)，也引發(fā)了一系列問(wèn)題，其中不可忽視的是數(shù)據(jù)中心巨大的能耗。企業(yè)每年必須支付高額的能耗費(fèi)用來(lái)支持?jǐn)?shù)據(jù)中心的運(yùn)轉(zhuǎn)。另一方面，為了達(dá)到最高的性能需求，數(shù)據(jù)中心往往會(huì)配置多個(gè)服務(wù)器集群，每個(gè)集群由多臺(tái)服務(wù)器組成。這導(dǎo)致在很多時(shí)間里，大量服務(wù)器會(huì)處在空閑或低利用率的狀態(tài)，存在明顯的能耗浪費(fèi)現(xiàn)象。最后，巨大的能耗還會(huì)引起

2、能源快速消耗、碳排放過(guò)多等嚴(yán)重的環(huán)境問(wèn)題。因此無(wú)論從企業(yè)的角度還是環(huán)保的角度，針對(duì)集群環(huán)境提出有效的能耗管理方法都是非常有必要的。
　　數(shù)據(jù)庫(kù)集群作為數(shù)據(jù)中心里普遍存在的集群系統(tǒng)，其能耗管理問(wèn)題也亟待深入探討。伴隨全球能源的日益緊張和當(dāng)前以數(shù)據(jù)為主導(dǎo)的計(jì)算模式，政府、企業(yè)和學(xué)術(shù)界都將節(jié)能數(shù)據(jù)庫(kù)系統(tǒng)的研究納入了重點(diǎn)考慮的范疇。本文主要研究數(shù)據(jù)庫(kù)集群環(huán)境下查詢操作相關(guān)的能耗管理方法。因?yàn)椴樵儾僮魇菙?shù)據(jù)庫(kù)系統(tǒng)中最常見(jiàn)也最重要的操作，重新

3、審視集群的查詢處理過(guò)程，針對(duì)查詢處理提出相應(yīng)的節(jié)能技術(shù)，對(duì)降低集群的能耗具有重要的意義。目前衡量集群系統(tǒng)能耗表現(xiàn)的兩種重要指標(biāo)分別是能耗均衡性和能耗有效性，二者追求的目標(biāo)和實(shí)現(xiàn)方式都存在區(qū)別。然而這兩種方法在面向數(shù)據(jù)庫(kù)集群上的研究還相對(duì)缺乏，現(xiàn)有的算法直接移植到數(shù)據(jù)庫(kù)集群中也會(huì)明顯削弱集群的查詢處理能力。因此本文針對(duì)數(shù)據(jù)庫(kù)集群的獨(dú)特性，在保證數(shù)據(jù)庫(kù)查詢性能的前提下，研究實(shí)現(xiàn)集群的能耗均衡性和能耗有效性的方法。
　　本文主要內(nèi)容與貢

4、獻(xiàn)點(diǎn)總結(jié)如下:
　　(1)針對(duì)能耗均衡性的研究，首先提出了一種新的查詢處理框架:將共享存儲(chǔ)架構(gòu)和無(wú)共享架構(gòu)相結(jié)合，并且引入了查詢流緩沖池。該框架能保證在實(shí)現(xiàn)能耗均衡控制時(shí)最大化減少服務(wù)器狀態(tài)改變對(duì)集群查詢性能的影響。其次結(jié)合查詢流緩沖池提出負(fù)載傾斜的分配策略，使集群中更多的服務(wù)器能有更大的概率轉(zhuǎn)為空閑從而被關(guān)閉。基于該查詢處理框架，還提出了緩存驅(qū)動(dòng)的能耗均衡控制方法，該方法較之于現(xiàn)有算法，能大大減少誤判現(xiàn)象。最后在真實(shí)的Postg

5、reSQL集群上利用多種不同類型的負(fù)載進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法能在基本滿足集群查詢性能要求的前提下有效減少集群能耗。
　　(2)針對(duì)能耗有效性的研究，我們將單節(jié)點(diǎn)的DVFS(Dynamic voltage andfrequency scaling，動(dòng)態(tài)電壓頻率調(diào)整)思想應(yīng)用到集群上，提出了集群上的協(xié)同DVFS算法，克服了單節(jié)點(diǎn)DVFS并發(fā)查詢性能差的缺陷。算法首先將集群劃分為不同CPU運(yùn)行頻率的節(jié)點(diǎn)結(jié)合，并且將查詢按照CPU密集型