MapReduce模型在Hadoop實(shí)現(xiàn)中計(jì)算資源利用率分析和多作業(yè)批調(diào)度優(yōu)化.pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、智能攜帶設(shè)備等新業(yè)務(wù)的迅速興起積累了海量規(guī)模的數(shù)據(jù)，這些大數(shù)據(jù)與云計(jì)算之間的關(guān)系越來越密切。如何處理這些規(guī)模巨大的數(shù)據(jù)是一個(gè)亟待解決的問題。目前MapReduce是比較流行的處理大數(shù)據(jù)的編程框架。Hadoop是實(shí)現(xiàn)MapReduce編程模型的Java開源版本，得到了工業(yè)界和學(xué)術(shù)界普遍關(guān)注。用戶在使用Hadoop處理大數(shù)據(jù)時(shí)，往往把關(guān)注的焦點(diǎn)放在加速數(shù)據(jù)的處理速度，然而對于集群系統(tǒng)本身來

2、說，更應(yīng)該看重的是系統(tǒng)計(jì)算資源利用率。
　　本論文將權(quán)衡這兩個(gè)目標(biāo)，在國內(nèi)外對MapReduce編程模型研究的基礎(chǔ)上，對MapReduce編程模型建立隊(duì)列分析模型，進(jìn)行計(jì)算資源利用率分析，并提出了針對不同優(yōu)先級的動(dòng)態(tài)多作業(yè)批調(diào)度改進(jìn)算法，為更高效地處理大數(shù)據(jù)提供理論基礎(chǔ)和算法支持。
　　本論文的主要工作有兩個(gè):
　　在MapReduce編程模型的Map階段和Reduce階段分別采用不同的排隊(duì)模型來建立分析模型，進(jìn)行Ma

3、pReduce系統(tǒng)的性能分析?？梢缘玫饺绾瓮ㄟ^調(diào)節(jié)系統(tǒng)參數(shù)，如工作負(fù)載，來減少Reduce階段計(jì)算資源的粘槽現(xiàn)象，從而提升集群系統(tǒng)的利用率。通過仿真實(shí)驗(yàn)，MapReduce分析模型的理論分析與仿真實(shí)驗(yàn)結(jié)果相吻合，說明本論文所建立的隊(duì)列分析模型能較好地描述MapReduce系統(tǒng)特點(diǎn)。給出合適的系統(tǒng)參數(shù)，即集群系統(tǒng)工作負(fù)載，提升系統(tǒng)性能。
　　在Hadoop默認(rèn)的FIFO調(diào)度策略的基礎(chǔ)上，創(chuàng)新性地提出了針對不同優(yōu)先級的動(dòng)態(tài)多作業(yè)批調(diào)度