基于Hadoop平臺(tái)的作業(yè)調(diào)度研究.pdf

1、Hadoop平臺(tái)是目前比較知名的云計(jì)算系統(tǒng)開發(fā)平臺(tái),它是一個(gè)開源的、易擴(kuò)展、可靠性高的分布式計(jì)算框架。其最大的特點(diǎn)就是并行化對(duì)應(yīng)用程序開發(fā)者是透明的。Hadoop允許應(yīng)用程序運(yùn)行在大量廉價(jià)的硬件設(shè)備組成的集群上,為應(yīng)用程序提供了一組穩(wěn)定可靠的接口。但它發(fā)展時(shí)間較短,研究還不夠深入,還有很多需要改進(jìn)的地方。作業(yè)調(diào)度技術(shù)是Hadoop平臺(tái)的關(guān)鍵技術(shù)之一,直接關(guān)系到Hadoop平臺(tái)的整體性能和系統(tǒng)資源的利用情況。但是現(xiàn)有的作業(yè)調(diào)度算法均存在著

2、一些不足之處,因此,通過對(duì)現(xiàn)有作業(yè)調(diào)度算法的分析研究,改進(jìn)其不足之處,對(duì)Hadoop平臺(tái)的發(fā)展具有重要的意義。本文主要進(jìn)行了以下研究:(1)本文對(duì)Hadoop平臺(tái)的架構(gòu)及其核心技術(shù)進(jìn)行了研究;深入研究了Hadoop平臺(tái)下的作業(yè)調(diào)度技術(shù),詳細(xì)分析了現(xiàn)有的幾種作業(yè)調(diào)度算法:FIFO算法、公平調(diào)度算法(FairScheduler)、計(jì)算能力調(diào)度算法(Capacityscheduler)等。并結(jié)合實(shí)驗(yàn)數(shù)據(jù)深入分析了基于優(yōu)先級(jí)的加權(quán)輪詢調(diào)度算法(