基于數(shù)據(jù)塊的大數(shù)據(jù)遷移策略研究.pdf

1、21世紀(jì)是信息爆炸的時代，信息數(shù)據(jù)量的增長極其迅猛。因此不但需要大量的存儲設(shè)備來存儲數(shù)據(jù)，同時還需要對這些數(shù)據(jù)的存儲進(jìn)行有效地管理。根據(jù)實(shí)驗(yàn)研究表明，存儲系統(tǒng)中所存儲的數(shù)據(jù)中有約70％-80%是處于“靜止”狀態(tài)，經(jīng)過一到三個月后基本上很少被訪問到。由于系統(tǒng)中只有少部分?jǐn)?shù)據(jù)會被頻繁的訪問到，因此將數(shù)據(jù)全部存儲在高性能設(shè)備中會帶來成本上的增加。為了滿足存儲系統(tǒng)性能的同時進(jìn)一步降低存儲的成本，分層存儲思想的提出正是為了來解決這個問題。

2、　　分層存儲的思想主要來源于信息生命周期管理ILM（Information Lifecycle Management）。分層存儲是將數(shù)據(jù)價值高的數(shù)據(jù)放置價格昂貴但是性能很高的存儲設(shè)備之中，而將數(shù)據(jù)價值低的數(shù)據(jù)放置于價格較便宜的大容量低性能的存儲設(shè)備之中。為了使得分層存儲在性能和開銷上達(dá)到平衡，一個良好的分層存儲系統(tǒng)就顯得尤為重要。但現(xiàn)今對于分層存儲的研究大多基于文件級數(shù)據(jù)和卷級數(shù)據(jù)。這類分層存儲在進(jìn)行數(shù)據(jù)價值評價時所考慮的價值因素通過文

3、件自身的屬性能夠直觀的獲得，并且文件和卷所占存儲空間比較大，一次遷移的數(shù)據(jù)量太大必然導(dǎo)致遷移的時間間隔加大，使得系統(tǒng)反應(yīng)緩慢，并且文件遷移時對資源的消耗也很大。而塊級數(shù)據(jù)在粒度上比文件級和卷級數(shù)據(jù)小，并且可以通過對數(shù)據(jù)塊進(jìn)行冗余數(shù)據(jù)的刪除，從而減小數(shù)據(jù)總量。同時塊級數(shù)據(jù)在數(shù)據(jù)遷移時由于數(shù)據(jù)塊較小，遷移時對資源的消耗會減小。但是，一方面，塊級數(shù)據(jù)對于數(shù)據(jù)價值的評價比文件級數(shù)據(jù)的評價更加復(fù)雜；另一方面，在對塊級數(shù)據(jù)進(jìn)行遷移時時間的間隔設(shè)計也

4、跟文件級和卷級數(shù)據(jù)有所差別?；谝陨咸岢龅膸c(diǎn)問題，通過對已有分層存儲技術(shù)深入的分析和研究，本文對基于塊級數(shù)據(jù)的分層存儲的遷移策略做了以下研究：
　　1、通過對現(xiàn)今對分層存儲系統(tǒng)結(jié)構(gòu)的所用設(shè)備技術(shù)的分析及研究，提出一種基于塊級數(shù)據(jù)的自動分層結(jié)構(gòu)BATSS（Block-level Automated Tiered Storage Structure）。
　　2、對比文件級數(shù)據(jù)價值評價相關(guān)因素的研究，提出一種基于塊級數(shù)據(jù)價值評價

5、的模型BDV（Block-level Data Valuation）。該模型充分考慮到塊級數(shù)據(jù)的特點(diǎn)，通過對I/O頻次、塊級數(shù)據(jù)大小、塊級數(shù)據(jù)關(guān)聯(lián)度等因素的綜合分析得出塊級數(shù)據(jù)價值。而后根據(jù)得出塊級數(shù)據(jù)價值對塊級數(shù)據(jù)進(jìn)行分層存儲。
　　3、提出基于主動遷移閾值和被動遷移閾值的雙閾值遷移策略。雙閾值遷移策略設(shè)計的基本思想是能夠最大化的利用高性能的存儲設(shè)備。主動遷移閾值是按照設(shè)定好的閾值將價值高于此閾值的塊級數(shù)據(jù)存入對應(yīng)的存儲設(shè)備之中

6、，而低于該閾值的塊級數(shù)據(jù)存入下一層的存儲設(shè)備之中。而被動遷移閾值是根據(jù)某一層存儲容量的剩余量來設(shè)定的。當(dāng)容量達(dá)到被動遷移閾值時，停止主動遷移，并將該層數(shù)據(jù)價值較小的數(shù)據(jù)遷移到下一層存儲設(shè)備之中。
　　4、提出基于遷移隊列大小/遷移帶寬的動態(tài)遷移時間間隔遷移策略。數(shù)據(jù)每次進(jìn)行遷移時都會產(chǎn)生一個遷移隊列，遷移隊列的大小是一個動態(tài)的，因?yàn)槊看芜w移的量都會不一樣，但每次遷移的帶寬是固定的。因此遷移時間是一個動態(tài)的時間，這樣能夠提升系統(tǒng)性能