基于馬爾可夫過程的Hadoop集群性能優(yōu)化與平均壽命的研究.pdf

1、Hadoop集群作為云計(jì)算、大數(shù)據(jù)技術(shù)的處理平臺(tái)被廣泛的應(yīng)用于各種各樣的領(lǐng)域， Hadoop集群無論在商用或是科學(xué)研究方面都具有重要的價(jià)值。Hadoop集群可以由若干臺(tái)服務(wù)器構(gòu)成不同的規(guī)模，以達(dá)到其低成本高性能的目的。但是，服務(wù)器節(jié)點(diǎn)機(jī)在連續(xù)長時(shí)間執(zhí)行任務(wù)的過程中，會(huì)出現(xiàn)節(jié)點(diǎn)失效、網(wǎng)絡(luò)阻塞、任務(wù)異常和任務(wù)執(zhí)行時(shí)間過長等集群故障。集群故障會(huì)對(duì)集群造成不同程度的沖擊與損害，造成故障概率頻繁、集群利用率不合理、性能下降甚至集群壽命降低等現(xiàn)象。

2、
　　本文從降低集群故障的角度，提出了一種基于馬爾可夫過程的Hadoop集群性能預(yù)估優(yōu)化模型POH（Prediction Optimization Hadoop）。針對(duì)開源Hadoop集群連續(xù)執(zhí)行任務(wù)后節(jié)點(diǎn)機(jī)器易發(fā)故障現(xiàn)象，采取提前預(yù)估集群故障狀態(tài)，根據(jù)集群故障趨勢(shì)及時(shí)做出優(yōu)化調(diào)整的策略。通過預(yù)判信息庫收集節(jié)點(diǎn)有效信息，利用 Markov鏈預(yù)估 Hadoop集群性能。按照預(yù)估結(jié)果從集群的任務(wù)并行度、HDFS數(shù)據(jù)塊復(fù)制數(shù)和NameN

3、ode備份周期三個(gè)角度對(duì)Hadoop集群進(jìn)行優(yōu)化調(diào)整。經(jīng)實(shí)驗(yàn)結(jié)果對(duì)比表明，采用 POH綜合算法進(jìn)行優(yōu)化后，節(jié)點(diǎn)任務(wù)執(zhí)行時(shí)間超長現(xiàn)象明顯降低，故障次數(shù)大大減少。在相同任務(wù)量下，由于 POH模型的任務(wù)平均讀寫速度得到提升，集群的平均資源利用率高于開源Hadoop集群；集群故障時(shí)間和總?cè)蝿?wù)執(zhí)行時(shí)間均明顯減少，也使得Hadoop集群擁有較高的高可用性。
　　優(yōu)秀的Hadoop集群應(yīng)該擁有更加持久的集群平均壽命。因此，集群平均壽命可以作為H

4、adoop集群性能的重要評(píng)價(jià)標(biāo)準(zhǔn)。本文針對(duì)該問題提出了一種基于Poisson過程的Hadoop集群平均壽命預(yù)測(cè)方法。通過預(yù)測(cè)計(jì)算，及時(shí)對(duì)集群進(jìn)行調(diào)整優(yōu)化，使系統(tǒng)性能保持在正常狀態(tài)。同時(shí)在三種不同特征類型的Hadoop集群的實(shí)驗(yàn)中觀察集群在任務(wù)執(zhí)行過程中平均壽命的變化。實(shí)驗(yàn)結(jié)果表明，該方法能有效地判斷Hadoop集群故障發(fā)生的頻率，預(yù)測(cè)出集群的平均壽命，對(duì)集群性能優(yōu)劣進(jìn)行評(píng)價(jià)。其預(yù)測(cè)結(jié)果也可以作為Hadoop集群性能參數(shù)深度優(yōu)化調(diào)整的有力