基于改進(jìn)模擬退火算法的Hadoop云平臺下新型調(diào)度器的研究和開發(fā).pdf

1、當(dāng)下，隨著“云計(jì)算(Cloud Computing)”平臺的火熱發(fā)展，越來越多的高校、研究所、IT公司以及互聯(lián)網(wǎng)企業(yè)開始深入研究并開展云平臺的項(xiàng)目，以求能更好地面對“大數(shù)據(jù)(Big Data)”時代的來臨。而在這其中，ApacheHadoop作為完全開源的云平臺，受到了大多數(shù)企業(yè)，工程師以及專家學(xué)者的青睞，紛紛參與到了Hadoop云計(jì)算平臺的研究和開發(fā)中。
　　而隨著“云計(jì)算”的火熱發(fā)展，“云服務(wù)”供應(yīng)商正在面臨著越來越巨大，越來

2、越復(fù)雜的數(shù)據(jù)處理。各種PB級別的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)讓現(xiàn)有的Hadoop平臺處理起來非常地吃力。此時，原生Hadoop在某些特殊作業(yè)的背景下已經(jīng)難以有效地應(yīng)對用戶所提交的各種復(fù)雜任務(wù)了。
　　本文正是針對目前Map Reduce框架下Hadoop現(xiàn)有調(diào)度器在處理大內(nèi)存需求作業(yè)時出現(xiàn)的任務(wù)等待時間過長，作業(yè)完成時間過高等問題，研究了不同調(diào)度器的調(diào)度策略，提出并設(shè)計(jì)了基于模擬退火算法的隊(duì)列級別調(diào)度策略。通過采用隊(duì)列資源利用率作為退火概

3、率，將作業(yè)期望完成時間、資源量限制等作為設(shè)計(jì)參數(shù)，利用模擬退火算法的高效率、低初始條件約束等特點(diǎn)，優(yōu)化計(jì)算能力調(diào)度器的調(diào)度效果。本文所做工作如下:
　　首先，針對目前的Hadoop平臺，分析，研究了Hadoop的設(shè)計(jì)理念，運(yùn)行機(jī)制，掌握了MapReduce的處理框架，并對Hadoop現(xiàn)有調(diào)度器進(jìn)行了深人的學(xué)習(xí)，包括Hadoop默認(rèn)的FIFO先進(jìn)先出調(diào)度器，Hadoop中自帶的公平調(diào)度器，計(jì)算能力調(diào)度器，以及在MapReduce事項(xiàng)

4、列表中正式提出且已設(shè)計(jì)出但尚未在Hadoop2.0之前的版本中正式使用的資源感知調(diào)度器和自適應(yīng)調(diào)度器。針對以上五種調(diào)度器，探討了它們的設(shè)計(jì)理念，并對它們的調(diào)度機(jī)理進(jìn)行了研究和分析，指出了目前各種調(diào)度器中所存在的不同問題。
　　然后，根據(jù)之前的工作中所總結(jié)的在現(xiàn)有各種調(diào)度器中所存在的普遍問題，本文提出并設(shè)計(jì)了一種新型的調(diào)度器，能有效地解決之前調(diào)度器中所存在的對大內(nèi)存需求作業(yè)調(diào)度吃緊的問題。設(shè)計(jì)思路采用改進(jìn)型的模擬退火算法，首先對傳統(tǒng)

5、的模擬退火算法進(jìn)行了分析，之后對如何在調(diào)度器中應(yīng)用給出了改進(jìn)方法，根據(jù)Hadoop平臺下的調(diào)度器原理進(jìn)行了基于模擬退火算法新型調(diào)度策略的設(shè)計(jì)并依據(jù)該策略開發(fā)了新型的Hadoop調(diào)度器。
　　最后，本文對新型調(diào)度器進(jìn)行了實(shí)際情況測試，包括Hadoop中實(shí)現(xiàn)調(diào)度器的自由切換，針對不同類型作業(yè)的調(diào)度情況測試，在同一種作業(yè)下與計(jì)算能力調(diào)度器的調(diào)度對比測試等等。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文所設(shè)計(jì)的新型調(diào)度器對大內(nèi)存需求作業(yè)進(jìn)行調(diào)度時能有效地降低任務(wù)等