基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、云計(jì)算是以互聯(lián)網(wǎng)為基礎(chǔ)的新一代技術(shù)的總稱,是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算的綜合發(fā)展。云計(jì)算技術(shù)將計(jì)算資源以服務(wù)的形式提供給用戶使用,廣泛應(yīng)用于海量信息的存儲(chǔ)和快速高效的數(shù)據(jù)分析。Google提出的MapReduce計(jì)算模型將云計(jì)算應(yīng)用的開發(fā)抽象成map和reduce兩個(gè)操作,封裝了并行計(jì)算中的數(shù)據(jù)處理、本地化文件系統(tǒng)、網(wǎng)絡(luò)負(fù)載調(diào)節(jié)和容錯(cuò)處理等細(xì)節(jié),降低了云計(jì)算應(yīng)用設(shè)計(jì)開發(fā)的難度。
　　 本文在介紹云計(jì)算的基本概念、體系結(jié)構(gòu)及其

2、應(yīng)用發(fā)展的基礎(chǔ)上,分析了云計(jì)算模型的實(shí)現(xiàn)框架和容錯(cuò)機(jī)制。針對(duì)云計(jì)算Hadoop開源平臺(tái),詳細(xì)分析了其中的分布式文件系統(tǒng)(HDFS,Hadoop Distributed File System)和MapReduce計(jì)算模型,并對(duì)Hadoop平臺(tái)下的作業(yè)調(diào)度技術(shù)、FIFO、公平隊(duì)列和計(jì)算能力作業(yè)調(diào)度算法做了深入的研究。
　　 對(duì)Hadoop現(xiàn)有的調(diào)度算法在異構(gòu)環(huán)境下的計(jì)算性能進(jìn)行了詳細(xì)的分析,包括硬件資源的CPU使用率和磁盤I/O讀

3、寫頻率對(duì)MapReduce作業(yè)調(diào)度的影響。在此基礎(chǔ)上通過對(duì)現(xiàn)有的計(jì)算能力調(diào)度算法進(jìn)行改進(jìn),提出了一種基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法,該算法通過計(jì)算已運(yùn)行作業(yè)的硬件負(fù)載耗費(fèi)情況,將運(yùn)行結(jié)果反饋給控制節(jié)點(diǎn),修改現(xiàn)有的作業(yè)調(diào)度策略,提高了MapReduce在異構(gòu)的Hadoop節(jié)點(diǎn)集群中的運(yùn)行效率。
　　 最后,基于文化資源共享系統(tǒng)搭建了Hadoop云計(jì)算集群實(shí)驗(yàn)平臺(tái),在該平臺(tái)上對(duì)本文提出的基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法的運(yùn)行效率做了詳