基于SLA感知的Hadoop YARN節(jié)能調(diào)度策略研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展和互聯(lián)網(wǎng)的迅速普及，人們從信息接收者逐漸轉(zhuǎn)變?yōu)樾畔⒌纳a(chǎn)者，信息的爆炸式增長推動著互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時代。如今大數(shù)據(jù)已經(jīng)成為一種重要的戰(zhàn)略資源和新型決策方式，而云計算則為大數(shù)據(jù)分析與處理提供了強(qiáng)大的存儲和計算能力。Hadoop是Apache軟件基金會旗下的一個開源的分布式計算平臺，它可以部署在普通的商業(yè)硬件上，具有高容錯和低成本的特性。隨著大數(shù)據(jù)和云計算的興起，越來越多的公司開始利用Hadoop平臺來提供云服務(wù)。高性

2、能計算集群的日益增加和大規(guī)模部署帶來了巨大的能源消耗，云服務(wù)提供商不僅需要滿足用戶在服務(wù)等級協(xié)議(SLA)中提出的需求，還要在保證服務(wù)質(zhì)量的前提下盡可能地降低資源成本。
　　為了克服Hadoop1.0在可靠性、可擴(kuò)展性和資源利用率等方面存在的局限性，Hadoop2.0將其資源管理功能抽象成了一個獨(dú)立的通用系統(tǒng)YARN。YARN能夠同時支持多種計算框架（如MapReduce、Spark、Storm等），并對集群系統(tǒng)中的資源進(jìn)行統(tǒng)一管

3、理和調(diào)度，這種共享集群的模式具有資源利用率高、運(yùn)維成本低以及數(shù)據(jù)共享的優(yōu)點(diǎn)。作為當(dāng)前最流行的集群資源管理系統(tǒng)，YARN在迎來發(fā)展機(jī)遇的同時仍然面臨著兩個嚴(yán)峻的挑戰(zhàn):一是根據(jù)每個應(yīng)用程序的SLA中指定的截止時間自動調(diào)整和控制資源分配，二是基于截止時間約束減少整個集群系統(tǒng)的能源消耗。因此，Hadoop YARN在云計算環(huán)境下的資源分配和節(jié)能調(diào)度已經(jīng)成為目前亟待研究和解決的問題。
　　針對上述問題和挑戰(zhàn)，本文提出了一種基于SLA感知的H

4、adoop YARN節(jié)能調(diào)度策略。該策略通過對多租戶云計算環(huán)境下的MapReduce程序進(jìn)行預(yù)測分析來獲得各個階段的性能指標(biāo)，根據(jù)這些性能指標(biāo)和SLA中指定的截止時間可以確定程序兩階段任務(wù)的并行度;然后利用SLA感知資源調(diào)度器為每個應(yīng)用程序動態(tài)地分配資源，從而確保任務(wù)并行度在運(yùn)行過程中不會發(fā)生變化;最后結(jié)合動態(tài)電壓頻率調(diào)整(DVFS)技術(shù)實現(xiàn)任務(wù)調(diào)度以達(dá)到節(jié)能的目的。綜上所述，本文提出的節(jié)能調(diào)度策略能夠在多租戶云計算環(huán)境下合理地分配資源

5、，同時在保證截止時間的前提下最大限度地降低云計算平臺的能耗。
　　網(wǎng)絡(luò)帶寬一直是制約云計算發(fā)展的瓶頸之一，基于SLA感知的Hadoop YARN節(jié)能調(diào)度策略充分利用了Hadoop數(shù)據(jù)本地化的特性來減少網(wǎng)絡(luò)通信，并利用數(shù)據(jù)傳輸產(chǎn)生的松弛時間實現(xiàn)任務(wù)節(jié)能調(diào)度。此外，本文使用了CloudSim云計算仿真平臺來評估資源分配算法和節(jié)能調(diào)度算法的性能。實驗結(jié)果表明，與現(xiàn)有的YARN資源調(diào)度方案相比，本文提出的節(jié)能調(diào)度策略能夠做到對資源的高效利