異構(gòu)Hadoop平臺性能分析及其調(diào)度算法優(yōu)化研究.pdf

1、由于各大IT公司在發(fā)展過程中面臨著空間、資源、計(jì)算能力和管理成本等問題的困擾，也隨著互聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，云計(jì)算模式逐步被業(yè)界所接受。在云計(jì)算的數(shù)據(jù)中心成千上萬或者更多臺計(jì)算節(jié)點(diǎn)或服務(wù)器組成計(jì)算機(jī)集群，這樣的集群有具大的處理能力，并且可以根據(jù)用戶的需求動態(tài)分配計(jì)算或者存儲資源。云計(jì)算用戶可以通過簡單、規(guī)范的接口獲取相應(yīng)的云服務(wù)，所以云計(jì)算才得以如此迅速的發(fā)展。
　　 Hadoop是Yahoo開發(fā)的開源云計(jì)算平臺，其為Goog

2、le云計(jì)算中MapReduce編程模型和GFS的開源實(shí)現(xiàn)。由于Hadoop的開源特性，使其發(fā)展相當(dāng)迅速，目前已經(jīng)有很多開發(fā)者和學(xué)者進(jìn)行其研究，也有很多的公司在其基礎(chǔ)上開發(fā)自己的云計(jì)算平臺。
　　 Hadoop調(diào)度器直接影響到作業(yè)執(zhí)行效率和響應(yīng)時間等技術(shù)指標(biāo)，但是現(xiàn)有的Hadoop調(diào)度器都是建立在同構(gòu)集群假設(shè)前提之下，并且沒有考慮節(jié)點(diǎn)的性能和源數(shù)據(jù)的區(qū)域性，但是實(shí)際情況并不是這樣?？紤]不同處理機(jī)計(jì)算速度，不同機(jī)器之間數(shù)據(jù)傳輸以及因

3、數(shù)據(jù)聚集帶來I/O傳輸和網(wǎng)絡(luò)消耗等問題，如何在滿足用戶需求的條件下更好的分配資源成為一個重要問題，其調(diào)度算法的優(yōu)劣直接影響到云計(jì)算架構(gòu)的工作性能和優(yōu)越性。傳統(tǒng)的MapReduce調(diào)度策略為一種事后的控制，當(dāng)出現(xiàn)straggler（慢節(jié)點(diǎn)）之后，通過啟動備份任務(wù)的方式重新執(zhí)行慢節(jié)點(diǎn)對應(yīng)任務(wù)。雖然這種方法能完成分配的任務(wù)，但是慢節(jié)點(diǎn)的產(chǎn)生必定會很大的影響系統(tǒng)整體性能。本文考慮計(jì)算資源性能和其外部條件，利用和聲搜索算法對該計(jì)算資源的響應(yīng)時間進(jìn)