Hadoop云平臺(tái)綜合優(yōu)化.pdf

1、大數(shù)據(jù)時(shí)代信息量的急劇增長(zhǎng)，對(duì)信息處理速度也提出了越來(lái)越高的需求。作為MapReduce計(jì)算模型的開(kāi)源實(shí)現(xiàn)，Hadoop云平臺(tái)為用戶(hù)提供了簡(jiǎn)潔可靠的大數(shù)據(jù)處理方案。在處理TB和PB級(jí)數(shù)據(jù)計(jì)算中，MapReduce已經(jīng)成為使用最為廣泛的并行編程模型。
　　由于MapReduce計(jì)算框架最早是為Google的數(shù)據(jù)處理業(yè)務(wù)而設(shè)計(jì)的，對(duì)不同環(huán)境、不同類(lèi)型的大數(shù)據(jù)處理業(yè)務(wù)，并沒(méi)有進(jìn)行特別優(yōu)化。因此，改進(jìn)Hadoop的平臺(tái)的MapReduce

2、計(jì)算框架，對(duì)提高Hadoop平臺(tái)綜合性能、優(yōu)化計(jì)算資源分配與利用，有著非常重要的意義。
　　本文針對(duì)Hadoop平臺(tái)的MapReduce計(jì)算框架中的負(fù)載均衡與任務(wù)配置優(yōu)化機(jī)制進(jìn)行了研究，取得了如下成果:
　　(1)在Hadoop平臺(tái)中提出了一種新的分區(qū)方案。與Hadoop默認(rèn)的分區(qū)方案相比，它具有平衡Reduce Task負(fù)載、提高集群資源利用率和加速Job整體運(yùn)行速度的優(yōu)勢(shì)。通過(guò)對(duì)Reduce Task建立回歸分析模型，預(yù)

3、測(cè)Reduce Task運(yùn)行時(shí)間的差異，據(jù)此重新分配Reduce Task之間輸入數(shù)據(jù)的規(guī)模，使得Reduce Task之間的總體完成時(shí)間趨于一致，避免了因數(shù)據(jù)分配不均，導(dǎo)致部分Reduce Task執(zhí)行時(shí)間過(guò)長(zhǎng)的問(wèn)題;同時(shí)，本方案在建立Reduce Task運(yùn)行時(shí)間的過(guò)程中，考慮了Node計(jì)算資源差異、負(fù)載情況對(duì)運(yùn)行時(shí)間的影響，使分配的結(jié)果更符合實(shí)際應(yīng)用情況。此外，與特定領(lǐng)域的負(fù)載均衡方案相比，本方案受到的限制更少，只需Map Tas

4、k的輸出結(jié)果的Reduce Task之間不存在固定的映射關(guān)系。
　　(2)提出了一種新的資源管理與計(jì)算任務(wù)監(jiān)控方案。在該方案中，將JobTracker的集群資源管理與任務(wù)監(jiān)控功能分成兩個(gè)組件完成。其中，JobTracker的角色變?yōu)镸onitor Node保留任務(wù)監(jiān)控功能，而資源管理功能分配給新加入的資源管理節(jié)點(diǎn)完成。JobTracker和資源管理節(jié)點(diǎn)之間通過(guò)增量更新算法同步信息。資源管理節(jié)點(diǎn)根據(jù)配置的調(diào)度器，進(jìn)行任務(wù)調(diào)度，并將調(diào)

5、度結(jié)果返回給JobTracker節(jié)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本方案實(shí)現(xiàn)了資源管理節(jié)點(diǎn)與JobTracker之間快速信息同步，降低了JobTracker的負(fù)擔(dān)，提高了平臺(tái)的魯棒性與工作效率，可以有效擴(kuò)展Hadoop云平臺(tái)的工作規(guī)模。
　　(3)設(shè)計(jì)和實(shí)現(xiàn)了基于任務(wù)完成時(shí)間的負(fù)載均衡分區(qū)方案;對(duì)分離式任務(wù)調(diào)度與監(jiān)控方案進(jìn)行了仿真驗(yàn)證。
　　實(shí)驗(yàn)表明，本文提出的Hadoop綜合優(yōu)化方案，可以對(duì)Hadoop集群的實(shí)際運(yùn)行情況進(jìn)行分析、預(yù)測(cè)，