云計算環(huán)境下的計算模型性能優(yōu)化研究.pdf

1、云計算給信息技術(shù)行業(yè)帶來了一場新的革命。支撐云計算的關(guān)鍵技術(shù)包括虛擬化技術(shù)、分布式文件系統(tǒng)、并行計算技術(shù)和非關(guān)系型數(shù)據(jù)庫技術(shù)等。Hadoop是一個集各種云計算技術(shù)于一體的綜合開源云計算平臺,主要由HDFS文件系統(tǒng)和MapReduce計算模型組成。
　　Hadoop能夠利用多臺機器組成的集群對海量數(shù)據(jù)進行存儲和計算,具有可擴展性、容錯性和高效性等特點。其中HDFS文件系統(tǒng)和MapReduce編程模型的思想都來源于Google。目前H

2、adoop處于不斷成熟的階段。對于Hadoop系統(tǒng)的實現(xiàn)框架,許多科研人員對其進行了分析并提出了多種改進措施。除了架構(gòu)外,Hadoop的配置對于系統(tǒng)的性能來說也至關(guān)重要。本文主要研究提高Hadoop系統(tǒng)性能的配置優(yōu)化方法。
　　Hadoop通過配置來對整個系統(tǒng)進行管理。Hadoop的配置優(yōu)化問題是一個復(fù)雜的組合優(yōu)化問題。各屬性問存在依賴和制約關(guān)系,設(shè)置不合理會導(dǎo)致資源競爭,系統(tǒng)的整體性能降低。智能算法能夠解決組合優(yōu)化問題。以智能算

3、法為基礎(chǔ),首先提出適用于特定應(yīng)用的配置優(yōu)化策略。然后考慮云計算平臺的實際使用情況,提出一種多應(yīng)用環(huán)境下的系統(tǒng)配置優(yōu)化模型。
　　對于具體應(yīng)用,基于遺傳模擬退火算法,將每種配置方案作為染色體,多次選擇、交叉、變異,并結(jié)合模擬退火原理,控制新染色體的存活和整個算法的迭代次數(shù),尋找出最優(yōu)的系統(tǒng)配置方案。實驗結(jié)果表明該方法能有效提高作業(yè)的運行效率,并且迭代結(jié)束時群體的整體效果都非常好。
　　對于具體應(yīng)用,基于混沌粒子群算法,將每種配

4、置方案作為粒子的位置,通過粒子的不斷運動來尋找最優(yōu)配置。為使算法既能進行全局搜索和局部搜索,同時又能避免過早陷入局部最優(yōu),采用基本粒子群算法和權(quán)重系數(shù)改進、最大速度改進、混沌算法相結(jié)合的處理方法。實驗結(jié)果表明該方法也能明顯提高系統(tǒng)的效率,得出的最優(yōu)配置具有穩(wěn)定性,并且該方法實現(xiàn)簡單,迭代次數(shù)少。
　　對于實際運行的整個系統(tǒng),需要處理各種類型的作業(yè),因此考慮多種應(yīng)用,提出一種自適應(yīng)的系統(tǒng)配置優(yōu)化方法。這種方法根據(jù)云計算平臺的作業(yè)特點