面向異構(gòu)集群的基于節(jié)點(diǎn)資源動(dòng)態(tài)調(diào)整的Hadoop調(diào)度優(yōu)化研究.pdf

1、電子商務(wù)、金融以及社交網(wǎng)絡(luò)等領(lǐng)域的迅猛發(fā)展，帶來了數(shù)據(jù)規(guī)模前所未有的快速增長(zhǎng)。大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理成為互聯(lián)網(wǎng)行業(yè)的研究熱點(diǎn)。作為GFS和MapReduce模型的開源實(shí)現(xiàn)，Hadoop是一個(gè)具有高可靠性、高容錯(cuò)性、高擴(kuò)展性的分布式計(jì)算和存儲(chǔ)平臺(tái)。現(xiàn)在很多集群存在異構(gòu)的情況，傳統(tǒng)的調(diào)度策略在異構(gòu)集群下效率很低。通過對(duì)Hadoop資源調(diào)度技術(shù)的分析，并調(diào)研國(guó)內(nèi)外最新研究，提出了一種面向異構(gòu)集群的負(fù)載自適應(yīng)的調(diào)度策略。
　　首先，提出了

2、面向異構(gòu)集群的節(jié)點(diǎn)資源動(dòng)態(tài)調(diào)整的調(diào)度算法。異構(gòu)集群下各個(gè)節(jié)點(diǎn)擁有的軟硬件資源量存在差異，因而執(zhí)行任務(wù)的能力有所不同。Hadoop資源用slot來描述，每個(gè)任務(wù)需要一個(gè)slot才能運(yùn)行，傳統(tǒng)的固定節(jié)點(diǎn)slot的配置方法不適合異構(gòu)集群。算法將作業(yè)分為CPU密集型和I/O密集型，并分別為這兩種作業(yè)設(shè)置不同的slot數(shù)目限制。算法通過收集集群作業(yè)的實(shí)時(shí)運(yùn)行狀況，并分析各個(gè)節(jié)點(diǎn)執(zhí)行能力的強(qiáng)弱，動(dòng)態(tài)調(diào)整各個(gè)節(jié)點(diǎn)slot資源數(shù)量。
　　其次，提

3、出了優(yōu)化小作業(yè)完成時(shí)間的調(diào)度算法。傳統(tǒng)的作業(yè)調(diào)度算法只有FIFO和FAIR。然而，這兩種作業(yè)調(diào)度策略都沒有考慮作業(yè)之間的差異。異構(gòu)節(jié)點(diǎn)執(zhí)行任務(wù)有快慢差別，算法通過收集集群作業(yè)運(yùn)行的信息將節(jié)點(diǎn)的slot分為fast slot和slow slot，優(yōu)先將fast slot分配給小作業(yè)，并為小作業(yè)預(yù)留部分slot。這種調(diào)度策略能夠在不影響大作業(yè)完成時(shí)間的情況下減少小作業(yè)的完成時(shí)間。
　　最后，針對(duì)不同場(chǎng)景對(duì)所提出的調(diào)度算法進(jìn)行了測(cè)試分析