支持Hadoop配置的異構(gòu)虛擬機(jī)平臺的研究.pdf

1、隨著云計算技術(shù)的發(fā)展，各種大小不一的數(shù)據(jù)中心紛紛出現(xiàn)，而這些數(shù)據(jù)中心往往存在各種虛擬機(jī)管理平臺（如Eucalyptus，0penNebula和OpenStack等），應(yīng)用場景需求也完全不同，各種管理平臺要求不同的運(yùn)維、開發(fā)技術(shù)和經(jīng)驗，不同管理平臺間的服務(wù)器資源不能動態(tài)共享，影響了彈性服務(wù)的性能。同時由于平臺中的不同的機(jī)器配置進(jìn)而也將影響其上層運(yùn)行的云計算應(yīng)用。Hadoop作為已廣泛應(yīng)用于數(shù)據(jù)密集型計算的云計算應(yīng)用之一，其中的MapRed

2、uce框架可配置參數(shù)的正確配置對計算的性能有著不可忽視的影響。然而，當(dāng)遇到異構(gòu)的Hadoop集群時，用戶一般只能使用默認(rèn)配置或者依照經(jīng)驗進(jìn)行手工配置，由于參數(shù)調(diào)優(yōu)時可選擇的空間很大，這樣常常會導(dǎo)致錯誤地配置致使計算性能下降。
　　針對多種多樣的虛擬機(jī)平臺的問題，本文設(shè)計并實(shí)現(xiàn)了一個異構(gòu)虛擬機(jī)管理平臺。在不需要改變既有的虛擬機(jī)管理平臺結(jié)構(gòu)的基礎(chǔ)上，實(shí)現(xiàn)對現(xiàn)有主流的虛擬機(jī)管理平臺的統(tǒng)一管理和控制、虛擬資源的均衡分配;同時還提供可擴(kuò)展的

3、適配層接口和驅(qū)動部件，支持其它異構(gòu)的虛擬機(jī)供應(yīng)和管理平臺。
　　針對異構(gòu)虛擬機(jī)平臺上的Hadoop應(yīng)用的問題，本文提出了一種基于增強(qiáng)學(xué)習(xí)的MapReduce在線參數(shù)自動配置方法。該方法利用離線學(xué)習(xí)粗粒度地創(chuàng)建初始化策略，在線學(xué)習(xí)根據(jù)策略細(xì)粒度地配置參數(shù)，并通過試錯法迭代地更新Q值表使得配置結(jié)果接近最優(yōu)。實(shí)驗結(jié)果表明，該配置方法可以有效地提高Hadoop的性能，并且能快速迭代實(shí)現(xiàn)收斂，使運(yùn)行MapReduce任務(wù)的機(jī)器資源得到充分使