云環(huán)境下作業(yè)調(diào)度算法研究.pdf

1、作為一個(gè)近年來興起的概念，云計(jì)算是數(shù)十年來虛擬化、分布式計(jì)算、效用計(jì)算技術(shù)研究以及網(wǎng)絡(luò)和軟件服務(wù)的發(fā)展的結(jié)晶。云計(jì)算加速了IT產(chǎn)業(yè)的變革，用戶按需得到服務(wù)，促進(jìn)了面向服務(wù)架構(gòu)的發(fā)展，減少了獲得服務(wù)的費(fèi)用，降低了服務(wù)提供商的花銷，同時(shí)也為服務(wù)提供了極大的靈活性。MapReduce是云計(jì)算的常用編程模式，大規(guī)模的MapReduce集群常常用于處理PB級別的數(shù)據(jù)量，因此系統(tǒng)的執(zhí)行效率就尤為重要。云作業(yè)調(diào)度是云計(jì)算中的一個(gè)重要組成部分，它能夠?qū)?/p>

2、用戶提交的作業(yè)與合適的資源進(jìn)行映射，減少作業(yè)的執(zhí)行時(shí)間，增加系統(tǒng)的吞吐率，合理的作業(yè)調(diào)度能使得集群利用率得到大幅提高。
　　 本文具體分析了云計(jì)算的背景，在歸納了學(xué)術(shù)界對云計(jì)算作業(yè)調(diào)度的代表性研究成果后，針對傳統(tǒng)Min-Min算法在負(fù)載均衡以及作業(yè)平均完成時(shí)間上的不足，提出了一種Max-D調(diào)度算法，將任務(wù)分配到合適的空閑資源執(zhí)行，并結(jié)合MapReduce的特點(diǎn)對算法進(jìn)行了改進(jìn)，使得Max-D算法在作業(yè)差別較大的環(huán)境下也能保持較好

3、的性能。
　　 Hadoop作為開源的云平臺(tái)實(shí)現(xiàn)，被業(yè)界廣泛研究和應(yīng)用。本文以Hadoop作為驗(yàn)證平臺(tái)，研究了Hadoop中的作業(yè)調(diào)度的實(shí)現(xiàn)方法，剖析了Hadoop中兩種常用的調(diào)度算法:FIFO和公平調(diào)度。本文通過比較Max-D算法和傳統(tǒng)方法的性能，給出各算法在調(diào)度消耗、作業(yè)平均完成時(shí)間以及公平性三個(gè)方面的表現(xiàn)，總結(jié)出三種算法各自的適用場景，并提出一個(gè)新的基于負(fù)載監(jiān)控的混合調(diào)度策略，通過對集群內(nèi)負(fù)載的監(jiān)控，選擇合適的調(diào)度方法進(jìn)行