異構環(huán)境下Map-Reduce調度算法的研究.pdf

1、云計算技術使中小型企業(yè)不必組建自己的數據中心,采用“用時付費”的方式,也能獲取需要的計算和存儲服務。云計算系統(tǒng)背后是強大的并行計算和分布式存儲技術。Map-Reduce是現有的云系統(tǒng)采用的并行編程模型和調度方式,在異構環(huán)境下,傳統(tǒng)的Map-Reduce調度器效率低下,浪費系統(tǒng)資源,任務響應時間長,吞吐率低。
　　本文首先簡要地介紹了云計算的定義、發(fā)展、應用場景、核心技術、以及改進的Map-Reduce調度器:LATE調度器。本文的

2、主要工作是:提出了自適應的Map-Reduce調度方式,針對傳統(tǒng)Map-Reduce調度方式和LATE調度器的缺點和不足,提出了改進方法。即通過歷史信息動態(tài)調整Map和Reduce任務各階段的時間比例。并將節(jié)點進一步分類,從而能夠在快速節(jié)點上啟動落后任務的備份任務,從而減小響應時間,并盡量避免節(jié)點空載,以免浪費系統(tǒng)資源。本文分析了提出的改進方式的理論基礎,以及其他調度方式缺點。另外,通過具體實驗,驗證了自適應的Map-Reduce調度的