異構環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究.pdf

1、隨著云計算的發(fā)展及推廣，眾多涉及海量數(shù)據(jù)處理的應用蓬勃涌現(xiàn)。面對海量數(shù)據(jù)的存儲需求，傳統(tǒng)文件系統(tǒng)在容量及性能擴展方面存在瓶頸，分布式文件成為了云環(huán)境下各種應用的基礎。為增強系統(tǒng)的可用性、可靠性和容錯性，分布式文件系統(tǒng)采用了副本技術。
　　 副本技術是一種數(shù)據(jù)管理機制，將數(shù)據(jù)項復制多份分別放在分布式文件系統(tǒng)的多個節(jié)點上，用以提高系統(tǒng)的可靠性和訪問效率。副本管理策略分為靜態(tài)副本策略和動態(tài)副本策略。靜態(tài)副本策略基于已知的訪問方式，在文

2、件創(chuàng)建時確定副本的數(shù)目及放置位置，適用于資源環(huán)境穩(wěn)定的情況。動態(tài)副本策略根據(jù)資源環(huán)境的變化而動態(tài)調整副本數(shù)目和位置，以適應不斷變化的資源環(huán)境。
　　 現(xiàn)有HDFS(HadoopDistributedFileSystem)采用靜態(tài)副本管理機制，副本因子默認為3，副本放置策略是將一個副本存放在本地機架上的一個節(jié)點，一個副本放在同一機架上的另一個節(jié)點，最后一個副本放在不同機架上的一個節(jié)點。HDFS通過多副本來提高數(shù)據(jù)的可靠性和訪問效率

3、。然而，HDFS副本管理仍存在一些缺陷，比如，副本創(chuàng)建數(shù)目和時機固定，副本放置未考慮資源節(jié)點異構性。
　　 為解決這些問題，本文提出一種異構環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理模型DMDR(DynamicManagementofDataReplicas)。(1)在副本創(chuàng)建時，DMDR根據(jù)節(jié)點性能選擇最優(yōu)副本放置節(jié)點;(2)在系統(tǒng)運行過程中，基于灰色預測技術，DMDR根據(jù)數(shù)據(jù)的最近訪問特征預測數(shù)據(jù)訪問熱度，并動態(tài)調整副本數(shù)目。實驗表明，在