基于Agent-aid的Map-Reduce架構負載平衡優(yōu)化研究與設計.pdf

1、Map-Reduce架構為大數據集云計算中復雜任務的分解和子任務的管理提供了一種新穎的計算模式。然而，系統(tǒng)中數據集的分布狀況會對云計算的效率產生極大的影響。在本文中，我們針對諸如分布式數據挖掘等數據密集型的云計算運用，提出了一個新穎的模型，用于平衡分布式系統(tǒng)數據集的分布，從而提高整個云計算的效率。
　　本文在經典的Map-Reduce結構模型之上增加了一個Agent層對其進行擴展，并將數據塊的負載調節(jié)請求抽象為 Token表示。文

2、中對系統(tǒng)的負載調節(jié)分為兩個部分：負載遷移調節(jié)和數據塊副本數調節(jié)。在負載遷移調節(jié)中，Agent可以根據以往收到的資源請求 Token推測出系統(tǒng)的局部狀態(tài)，從而為后續(xù)的 Token制定更加合理的路由策略，使其能夠快速到達目標節(jié)點，從而高效的實現(xiàn)系統(tǒng)負載的均衡。在數據塊副本數調節(jié)中，Agent可以根據系統(tǒng)中一段時期內數據塊的訪問熱度狀態(tài)，動態(tài)的對各個數據塊副本數進行調整，從而分擔高熱數據節(jié)點的負載，實現(xiàn)系統(tǒng)的負載均衡。
　　本文的主要貢

3、獻在于提出了一個Agent-aid系統(tǒng)對經典Map-Reduce結構進行擴展，輔助其進行系統(tǒng)負載的調節(jié)。針對 Map-Reduce結構中子任務分配的特點，本文提出了負載遷移算法，對高負載節(jié)點進行負載的調節(jié)，并提出了一種高效的啟發(fā)式路由算法對 Token的路由決策進行支持。另一方面，針對系統(tǒng)中數據的訪問特點，本文提出了數據塊副本數調整算法，對訪問熱度不同的數據塊進行副本數的調整，平衡各個節(jié)點的負載。在本文的最后，我們制定了詳盡的實驗，從多