基于人工蜂群算法的Hadoop調(diào)度算法研究與改進.pdf

1、群智能優(yōu)化算法在解決NP類問題具有較高的效率和收斂速度，已經(jīng)得到國內(nèi)外越來越多的研究者和工程技術(shù)人員的關(guān)注，群智能優(yōu)化算法已經(jīng)成為解決云計算資源調(diào)度問題主要研究方向之一。目前對群智能優(yōu)化算法的研究主要有兩個方向，一是對某一群智能算法進行深入研究，通過改善自身缺點，吸收引進其他智能優(yōu)化算法的特性進行改進和優(yōu)化，二是將多種群智能算法通過不同的方式進行結(jié)合，取長補短，產(chǎn)生新的智能算法。本文也分別從這兩個方向上入手進行研究，目的是優(yōu)化云計算平臺

2、資源調(diào)度，具體選擇Hadoop云計算平臺，改進Hadoop集群的資源調(diào)度效率。
　　本文的目的是通過改進智能優(yōu)化算法或結(jié)合多個優(yōu)化算法的生成新的算法對Hadoop的資源調(diào)度給多個任務(wù)，找出任務(wù)總完成時間的極小值。首先對幾種較成熟的優(yōu)化算法進行對比，通過對各智能優(yōu)化算法各優(yōu)缺點的分析發(fā)現(xiàn)，人工蜂群算法與其他算法相比對問題維數(shù)不太敏感，適合于求解高維問題，并且具有控制參數(shù)少、魯棒性強、收斂速度快等優(yōu)點，對于解決云資源調(diào)度問題具有十分明

3、顯的優(yōu)勢。因此本文針對人工蜂群算法提出了以下2種算法改進思路:
　　(1)基于改進的人工蜂群算法的hadoop作業(yè)調(diào)度研究
　　針對人工蜂群算法易于陷入局部極值的問題，首先引進高斯變異思想，提升人工蜂群的局部搜索能力，然后引進自適應(yīng)因子，動態(tài)調(diào)整蜂群的尋優(yōu)策略，加快搜索速度，提高搜索能力，優(yōu)化了云計算資源的調(diào)度策略，提高了資源利用率，減少了任務(wù)的完成時間。
　　(2)基于差分-蜂群混合調(diào)度算法的hadoop作業(yè)調(diào)度研究

4、
　　將群智能優(yōu)化算法中的兩個或多個算法進行按照一定策略進行融合，會發(fā)揮各自的特點，實際效果超過任何一個單獨的優(yōu)化算法。因此本文提出了一種差分-蜂群混合作業(yè)調(diào)度算法，用于大規(guī)模并行計算時進行資源調(diào)度，發(fā)揮兩個算法各自的優(yōu)勢，可以減少算法的收斂時間和迭代次數(shù)，取得穩(wěn)定有效的最優(yōu)解，最大限度地提云計算資源調(diào)度的效率。
　　最后通過搭建Hadoop集群，在集群上實現(xiàn)并驗證了改進的人工蜂群調(diào)度算法和差分-蜂群混合調(diào)度算法，通過多次實