基于性能預估的Hadoop參數(shù)自動調優(yōu)系統(tǒng).pdf

1、MapReduce是處理大規(guī)模數(shù)據(jù)的有效工具,Hadoop是MapReduce的一個開源實現(xiàn),由于其良好的容錯性和可擴展性得到的廣泛研究和使用。然而,為了有效的使用Hadoop集群資源,即使在Hadoop中運行一個簡單的程序也需要用戶或者管理員調整大量的Hadoop參數(shù)。在Hadoop中有190個的參數(shù),這些參數(shù)控制著MapReduce作業(yè)在Hadoop中的運行行為。用戶經(jīng)常會因為不知道如何設置這些參數(shù)而遇到性能問題。
　　基于性

2、能預估的Hadoop參數(shù)自動調優(yōu)系統(tǒng)HCOpt,針對Hadoop的高可配置性,通過動態(tài)字節(jié)碼注入技術追蹤MapReduce作業(yè)的運行信息,并對這些信息進行統(tǒng)計分析,提取Hadoop應用程序的運行特性;再通過輕量級MapReduce模擬器以及代價模型,結合Hadoop應用程序的運行特征預估該程序在指定參數(shù)配置方案下的運行性能;通過一種基于遺傳算法的參數(shù)調優(yōu)算法,結合性能預估,在大量的參數(shù)配置方案中搜索近似最優(yōu)的參數(shù)配置方案,實現(xiàn)Hadoo

3、p參數(shù)自動調優(yōu)功能。HCOpt通過動態(tài)字節(jié)碼注入技術來追蹤MapReduce作業(yè)運行信息,將系統(tǒng)對應用程序的運行影響以及和Hadoop之間的耦合度降到最低,可以很好的適應各種版本的Hadoop,同時通過對Hadoop參數(shù)的調優(yōu),在相同的硬件條件下充分利用系統(tǒng)資源提高了Hadoop應用程序的運行性能。
　　通過典型的Hadoop應用程序測試HCOpt的有效性,結果分析表明對I/O密集型和計算密集型應用均有較好的性能提升效果,和系統(tǒng)默