云計(jì)算下計(jì)算能力調(diào)度算法的研究與改進(jìn).pdf

1、近年來,云計(jì)算作為一種新的高性能計(jì)算模式成為廣大研究學(xué)者的研究熱點(diǎn),各大公司也紛紛推出自己的云平臺,如加利福尼亞大學(xué)研究的Eucalyptus,Apache基金會的Hadoop平臺、以及10gen的MongoDB等。其中Hadoop平臺是開源的,現(xiàn)在己被廣泛使用,它具有分布性、效率高、成本低、可靠性強(qiáng)等優(yōu)點(diǎn),而其中它的一項(xiàng)重要技術(shù)作業(yè)調(diào)度是影響到平臺整體性能與資源利用率的一個(gè)關(guān)鍵。作業(yè)調(diào)度技術(shù)是要將進(jìn)入系統(tǒng)的作業(yè)進(jìn)行合理的分配與處理,它

2、的目標(biāo)既要使整個(gè)系統(tǒng)能夠有序的運(yùn)行,又要充分有效的利用資源,還要使用戶滿意度盡可能高。但是隨著用戶需求的不斷增多和作業(yè)種類、作業(yè)規(guī)模的不斷增大,目前的調(diào)度算法越來越難滿足用戶的需求,因此研究一種新的作業(yè)調(diào)度算法,既能滿足上述要求,又能結(jié)合實(shí)際應(yīng)用具有重大的意義。
　　 目前應(yīng)用廣泛的作業(yè)調(diào)度算法有先進(jìn)先出(FIFO)算法,這種算法簡單明了,成本低,只適合滿足單作業(yè)或少量作業(yè)的需求;公平調(diào)度算法(FairScheduling al

3、gorithm),它支持多用戶公平地享用資源,能夠滿足大量作業(yè)進(jìn)入系統(tǒng),但這樣極易造成資源的浪費(fèi);計(jì)算能力調(diào)度算法(CapacityScheduling algorithm),它吸取了公平算法的不足,根據(jù)作業(yè)的性能分配資源,但這種分配策略過于簡單,容易陷入局部最優(yōu);國內(nèi)一些學(xué)者分別從系統(tǒng)資源、系統(tǒng)配置、作業(yè)等方面下手深入地研究,試圖提出一些改進(jìn)算法。
　　 本文針對系統(tǒng)的配置,從作業(yè)的總運(yùn)行時(shí)間、平均運(yùn)行時(shí)間與等待時(shí)間著手,利用

4、模擬退火算法在組合優(yōu)化問題上能夠避免局部最優(yōu)的優(yōu)勢,結(jié)合計(jì)算能力調(diào)度算法,提出了一種基于模擬退火的計(jì)算能力調(diào)度算法,構(gòu)建了模擬退火調(diào)度算法的數(shù)學(xué)模型,選擇計(jì)算能力調(diào)度算法的默認(rèn)搜索策略作為初始解,提出一個(gè)新的目標(biāo)函數(shù),計(jì)算出作業(yè)的解空間,并選擇對數(shù)函數(shù)作為退火策略。該目標(biāo)函數(shù)綜合考慮了作業(yè)的總運(yùn)行時(shí)間和作業(yè)等待時(shí)間,旨在提高作業(yè)運(yùn)行效率的同時(shí)減少作業(yè)的等待時(shí)間。為了提高學(xué)習(xí)速度對模擬退火作業(yè)調(diào)度算法進(jìn)行了改進(jìn),在算法中加入了記憶功能,可