云計算平臺作業(yè)調(diào)度算法優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷增加,用戶大量的數(shù)據(jù)需要進行處理和存儲,傳統(tǒng)的服務器集群無法滿足用戶大數(shù)據(jù)的需求?，F(xiàn)在云計算已經(jīng)成為一個最典型的解決方案,它為用戶提供了海量數(shù)據(jù)處理、海量數(shù)據(jù)存儲、按需獲取計算能力等服務。云計算概念一經(jīng)提出就受到了學術界和工業(yè)界的廣泛關注,許多公司都推出了自己的云計算平臺。其中,大多數(shù)云計算平臺是使用Hadoop開發(fā)的,Hadoop是一個運行在大型集群上進行大數(shù)據(jù)存儲和并行計算的分布式開源框架,它將底層的并行化對開發(fā)

2、者透明,應用程序的開發(fā)者只需要按照接口要求實現(xiàn)代碼就能實現(xiàn)分布式處理。但是,Hadoop是一個比較新的平臺,許多地放還不夠成熟,需要改進的地方也很多。
　　Hadoop平臺的性能與其作業(yè)調(diào)度算法密切相關,選擇合適的調(diào)度算法對Hadoop平臺的資源利率和系統(tǒng)吞吐量有很大的影響。但是,Hadoop中現(xiàn)有的調(diào)度算法有許多不足之處,因此,研究Hadoop平臺作業(yè)調(diào)度算法,并進行優(yōu)化和改進,對Hadoop平臺性能的提升具有重大意義。

3、　　本文主要完成了以下工作:
　　1、對云計算技術進行了介紹,重點分析了Hadoop平臺的技術背景和組成架構,詳細分析了HDFS文件系統(tǒng)的讀寫流程和MapReduce編程框架。
　　2、對Hadoop平臺下的作業(yè)調(diào)度流程進行了深入的剖析,重點介紹了現(xiàn)有的幾種作業(yè)調(diào)度算法:FIFO調(diào)度算法、計算能力調(diào)度算法、公平份額調(diào)度算法和LATE調(diào)度算法,分析了他們的算法思想和主要優(yōu)缺點。
　　3、針對現(xiàn)有調(diào)度算法不適應異構環(huán)境的問

4、題,提出了一種改進的調(diào)度算法,該算法根據(jù)系統(tǒng)信息,將作業(yè)進行分類,并做出調(diào)度策略。通過優(yōu)化算法將作業(yè)與節(jié)點進行匹配,提高系統(tǒng)的整體性能。
　　4、針對現(xiàn)有調(diào)度算法未考慮作業(yè)和節(jié)點的負載類型的問題,提出了一種基于資源感知的調(diào)度算法,該算法將作業(yè)和節(jié)點類型進行劃分,并按照節(jié)點的負載情況選擇合適的任務進行調(diào)度。
　　5、為了驗證算法的性能,搭建了Hadoop實驗集群,并收集了大量測試數(shù)據(jù)對算法的性能進行驗證。實驗結果表明,我們提出