基于能量感知的Hadoop平臺(tái)調(diào)度器研究.pdf

1、現(xiàn)如今各行各業(yè)的數(shù)據(jù)每天都在快速增加，學(xué)術(shù)界和企業(yè)發(fā)現(xiàn)這些數(shù)據(jù)中隱藏著巨大的價(jià)值。在這種需求下各種數(shù)據(jù)分析框架和平臺(tái)發(fā)展起來，其中Hadoop是目前最流行的開源平臺(tái)，該平臺(tái)實(shí)現(xiàn)了Google提出的MAPREDUCE計(jì)算模型和GFS存儲(chǔ)模型。近年來不斷積累的溫室氣體正在改變?nèi)驓夂?，?shù)據(jù)中心的建設(shè)也應(yīng)該把低碳減排放在重要的位置；同時(shí)企業(yè)在數(shù)據(jù)中心電能方面的投入也越來越多。目前 Hadoop集群中的主機(jī)數(shù)目正在不斷的增加，數(shù)據(jù)中心能耗控制問

2、題也越來越突出。因此從Hadoop平臺(tái)方面研究如何減少Hadoop集群的能量消耗對(duì)于環(huán)境保護(hù)和減少企業(yè)成本具有重要的意義。
　　結(jié)合Hadoop平臺(tái)的工作原理以及MapReduce計(jì)算框架運(yùn)行時(shí)環(huán)境的架構(gòu)，本文確定了從資源與任務(wù)調(diào)度的角度在Hadoop平臺(tái)中構(gòu)建一套能量消耗控制的體系結(jié)構(gòu)。使用先進(jìn)先出算法的單隊(duì)列調(diào)度器（FIFO Scheduler）和基于計(jì)算能力算法的調(diào)度器（Capacity Scheduler）是平臺(tái)自帶的兩種

3、常用調(diào)度器，通過對(duì)它們的測(cè)試和分析，總結(jié)出了這兩種調(diào)度器對(duì)于構(gòu)建Hadoop平臺(tái)能量控制框架的缺陷和不足。基于原有調(diào)度器的不足本文設(shè)計(jì)并實(shí)現(xiàn)了基于能量感知的Hadoop平臺(tái)調(diào)度器，該調(diào)度器中構(gòu)建了一套能量控制的框架，并設(shè)計(jì)了兩層調(diào)度策略來進(jìn)行作業(yè)到資源的節(jié)能調(diào)度。
　　本文設(shè)計(jì)的基于能量感知的Hadoop平臺(tái)調(diào)度器具有以下兩個(gè)特點(diǎn)：1）調(diào)度器可以調(diào)節(jié)和平衡Hadoop集群作業(yè)運(yùn)行過程中的Qos和總能耗；2）調(diào)度器本身具有高效的調(diào)度

4、策略。調(diào)度器的整體框架是基于多隊(duì)列設(shè)計(jì)的，設(shè)計(jì)了兩層調(diào)度策略來完成作業(yè)的任務(wù)到計(jì)算資源之間的動(dòng)態(tài)節(jié)能匹配，兩層調(diào)度策略具有高效性，并且時(shí)間復(fù)雜度是線性的；多隊(duì)列中作業(yè)的分配使用了類似一致性 hash的方法，保證了作業(yè)到隊(duì)列的高效動(dòng)態(tài)分配以及系統(tǒng)的高并發(fā)性。
　　本文最后使用XCP（xen cloud platform）云平臺(tái)構(gòu)建了具有32臺(tái)虛擬機(jī)的Hadoop集群環(huán)境。并在該集群環(huán)境中將本文設(shè)計(jì)的節(jié)能調(diào)度器與Hadoop平臺(tái)自帶的