云計算環(huán)境下基于優(yōu)先級與可靠度的Hadoop作業(yè)調(diào)度研究.pdf

1、近年來，云計算因其高性能、高可靠、可擴展等特點在海量數(shù)據(jù)計算中得到了廣泛應用。在信息技術(shù)飛速發(fā)展的條件下，海量數(shù)據(jù)處理成為計算機科學領域的新挑戰(zhàn)。MapReduce作為一種新興的分布式計算模型，它的主要特點在于封裝開發(fā)傳統(tǒng)并行分布式程序的細節(jié)，實現(xiàn)業(yè)務邏輯程序的編寫與分布式實現(xiàn)細節(jié)的分離。Hadoop作為MapReduce計算模型的開源實現(xiàn)，得到了各界的廣泛關(guān)注，Hadoop調(diào)度算法主要克服的是集群資源利用率，用戶作業(yè)的運行時間等難題。

2、云環(huán)境下Hadoop作業(yè)調(diào)度的研究給學術(shù)界和工業(yè)界帶來了新的挑戰(zhàn)。改進和提高作業(yè)調(diào)度能力，對提高Hadoop的性能和資源利用率具有重要意義。
　　 首先，介紹了云計算的概念以及體系結(jié)構(gòu)，對開源平臺Hadoop中的MapReduce編程模型和分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)進行了深入研究，詳細分析了Hadoop作業(yè)運行時機制以及現(xiàn)有的調(diào)度算法。
　　 其次，針對基于優(yōu)先

3、級的加權(quán)輪轉(zhuǎn)調(diào)度算法沒有考慮系統(tǒng)負載水平，同時不能充分利用異構(gòu)集群中計算節(jié)點的處理能力的問題，提出了一種改進的優(yōu)先級調(diào)度算法(Priority Based Multi Scale，PBMC)，PBMC算法對集群中的計算節(jié)點的計算能力進行判斷，并按照計算能力的不同進行排序，考慮系統(tǒng)整體的負載水平，在保證系統(tǒng)整體負載處于合理狀態(tài)時，將優(yōu)先級較高作業(yè)中的任務分配給計算能力好的節(jié)點。實驗結(jié)果表明PBMC算法充分考慮了集群中節(jié)點性能的不同，減少了

4、集群作業(yè)的完成時間，進一步提高了集群資源的利用率。
　　 最后，通過對云計算的開源平臺Hadoop調(diào)度算法進行深入研究，針對用戶提交服務的隨機性、趨同性以及云計算系統(tǒng)的可靠性和集群資源的利用率的問題，利用排隊模型建立云計算系統(tǒng)模型，采用集群中節(jié)點負載值來劃分計算節(jié)點的可靠度。在對節(jié)點可靠性分類的基礎上，提出了一種基于計算節(jié)點可靠度的Hadoop作業(yè)調(diào)度算法（Job Scheduling Based on Node Reliabi