Hadoop容錯能力測試平臺的設(shè)計與實現(xiàn).pdf

1、隨著信息系統(tǒng)中數(shù)據(jù)量的迅速增長,傳統(tǒng)的計算和存儲模式已經(jīng)不能滿足日益增長的數(shù)據(jù)處理和存儲需求。在早期分布式處理、并行處理以及網(wǎng)格計算技術(shù)的基礎(chǔ)之上發(fā)展而來的云計算技術(shù)成為目前炙手可熱的海量數(shù)據(jù)解決手段。但是,隨著云計算平臺的普及與推廣,可靠性成為它面臨的一項重大困難與挑戰(zhàn)。容錯能力能夠從一個層面上反映出系統(tǒng)可靠性的高低。因此,評測云計算平臺的容錯能力對其可靠性研究具有重要意義。
　　由于云計算平臺的復(fù)雜程度高、軟件規(guī)模大,使得云計

2、算平臺的容錯能力評測成為一項艱巨的任務(wù)。目前針對云計算平臺測試已有的研究成果中,涉及容錯能力評測的內(nèi)容較少并且測試方法較為單一,需要更加深入的研究與完善。
　　評測容錯能力的最有效手段是基于故障注入思想的測試方法。本文以開源云計算平臺—Hadoop作為研究目標,深入研究Hadoop中核心組件的容錯機制?；诂F(xiàn)實應(yīng)用中可能出現(xiàn)的故障類型,結(jié)合Hadoop平臺的部署結(jié)構(gòu)以及運行機制的特點,提出了一種多層次的Hadoop容錯能力測試框架

3、。從軟件健壯性測試、MapReduce故障注入測試、網(wǎng)絡(luò)故障注入測試和HDFS故障注入測試四個層次出發(fā),分別模擬了云計算平臺在應(yīng)用中可能出現(xiàn)的多種軟硬件異常。
　　依據(jù)Hadoop多層次容錯能力測試框架,設(shè)計了針對Hadoop的容錯能力評測平臺,實現(xiàn)了多種故障注入工具,形成了對Hadoop的軟件健壯性測試以及可能發(fā)生節(jié)點故障、網(wǎng)絡(luò)故障、硬盤故障等故障類型的容錯能力測試的覆蓋。在故障注入過程中,監(jiān)控和回收云計算平臺對于故障的反饋信息

4、,進行結(jié)果分析從而向研究人員提供真實可靠的評測結(jié)果,最終為云計算平臺的容錯能力評測提供有力的數(shù)據(jù)支撐。
　　為了驗證Hadoop容錯能力評測方法的可行性,本文使用Hadoop搭建了一個小型的云計算平臺環(huán)境進行實驗。軟件健壯性測試發(fā)現(xiàn)了Hadoop接口和實現(xiàn)中存在的不足并進行了缺陷定位。在測試環(huán)境中進行的節(jié)點或進程級失效故障、數(shù)據(jù)操作失效故障、數(shù)據(jù)校驗故障、資源過載故障和網(wǎng)絡(luò)故障的注入測試有效地證明了各個故障注入工具的有效性。通過結(jié)