基于集群規(guī)模調(diào)整的節(jié)能存儲策略研究.pdf

1、隨著人類社會的發(fā)展，社會的信息化程度越來越高，作為記錄信息載體的數(shù)據(jù)也隨之迅猛增長，應(yīng)運而生的大數(shù)據(jù)技術(shù)也越來越多的應(yīng)用到實際生活中方便人們的生活。大數(shù)據(jù)技術(shù)的應(yīng)用離不開數(shù)據(jù)的存儲，而對于存儲大數(shù)據(jù)的集群，其能耗也是一個不容忽視的問題。
　　本文通過對集群文件訪問規(guī)律及集群服務(wù)器能耗規(guī)律的認識，發(fā)現(xiàn)集群中普遍存在節(jié)點使用率低下的問題。因此本文主要的研究內(nèi)容是通過對集群規(guī)模進行動態(tài)調(diào)整來提高節(jié)點使用率，降低集群的能耗。
　　首

2、先本文結(jié)合傳統(tǒng)的靜態(tài)分區(qū)及動態(tài)分區(qū)的優(yōu)點將集群劃分為三大區(qū)域。然后在此分區(qū)基礎(chǔ)上，針對集群規(guī)模動態(tài)調(diào)整需要遷移大量的數(shù)據(jù)塊的問題，提出了面向IO優(yōu)化的集群規(guī)模調(diào)整，可以通過盡可能少的數(shù)據(jù)塊遷移達到快速調(diào)整集群規(guī)模的目的。其次基于數(shù)據(jù)特征的分區(qū)存儲對集群中存在的冷，熱數(shù)據(jù)采取不同的存儲策略，針對于冷數(shù)據(jù)提出負載集中存儲策略，節(jié)省了存儲大量冷數(shù)據(jù)的服務(wù)資源。另外針對于廣泛采用的LRU算法對于偶發(fā)性的、周期性的批量訪問會導(dǎo)致命中率急劇下降，本

3、文提出了雙因子淘汰緩存算法及對其進行改進，通過考慮文件訪問次數(shù)和時間兩個因子提高了命中率。
　　為了驗證本文提出的一系列的集群節(jié)能策略，本文開發(fā)了模擬Hadoop運行的集群仿真平臺，該仿真平臺分層的設(shè)計模式，對于新的節(jié)能策略，只需在策略層中編寫相應(yīng)的策略函數(shù)編譯即可。該仿真平臺用戶可以自定義集群緩存策略，數(shù)據(jù)遷移策略，集群節(jié)能等一系列應(yīng)用于集群的仿真策略。
　　通過仿真實驗結(jié)果表明：使用本文節(jié)能策略的 HDFS比傳統(tǒng) HDF