面向Hadoop存儲系統(tǒng)的節(jié)能優(yōu)化技術(shù)研究.pdf

1、近年來,基于云計算的互聯(lián)網(wǎng)服務(wù)不斷涌現(xiàn),其中MapReduce計算范式和HDFS分布式文件系統(tǒng)已逐漸成為開發(fā)大型數(shù)據(jù)密集型應(yīng)用的首選模型。從硬件供應(yīng)商的角度,這類應(yīng)用部署的規(guī)模如此巨大,降低服務(wù)集群的功率消耗既可以顯著降低運營成本,又能降低碳排放量,從而提高整體能效。
　　在傳統(tǒng)服務(wù)器節(jié)能策略的基礎(chǔ)上,針對提供 MapReduce作業(yè)服務(wù)的集群,提出一種節(jié)能優(yōu)化算法。該算法能根據(jù)集群當(dāng)前整體和局部的工作負載動態(tài)地重構(gòu)節(jié)點或節(jié)點上的

2、數(shù)據(jù);同時,控制數(shù)據(jù)放置策略很好的支持上述操作。該節(jié)能優(yōu)化算法具備了節(jié)能效果明顯、實時性高以及負載均衡開銷小等特性,可應(yīng)用于數(shù)據(jù)密集型計算集群和企業(yè)數(shù)據(jù)中心等環(huán)境中。
　　具體地,實現(xiàn)節(jié)能優(yōu)化的能耗控制系統(tǒng)由數(shù)據(jù)分發(fā)模塊、節(jié)點失效模塊和能耗調(diào)節(jié)模塊三個組件組成。數(shù)據(jù)分發(fā)模塊通過對 HDFS數(shù)據(jù)塊分發(fā)和對應(yīng)副本放置流程進行修改,實現(xiàn)人為控制數(shù)據(jù)塊號到 DataNode節(jié)點映射;節(jié)點失效模塊使得 HDFS具備容忍節(jié)點增加/缺失的功能;

3、能耗調(diào)節(jié)器是提高能效的核心,包含兩個線程,分別對應(yīng)兩種算法:dilution和enrichment。在集群的某個機架利用率高于管理員預(yù)定的閾值時,能耗調(diào)節(jié)模塊會根據(jù) dilution算法適時地添加新節(jié)點,并將附近節(jié)點上的數(shù)據(jù)遷移到新節(jié)點上;當(dāng)集群出現(xiàn)某個機架的利用率偏低時,能耗調(diào)節(jié)器可依據(jù)enrichment算法移除目標(biāo)節(jié)點,并其上的數(shù)據(jù)遷移到附近節(jié)點上。從而,實現(xiàn)系統(tǒng)當(dāng)前工作負載與系統(tǒng)性能的動態(tài)匹配。
　　在最終測試方面,利用G