系統(tǒng)級數(shù)據(jù)保護技術(shù)研究.pdf

1、隨著當前信息時代數(shù)據(jù)量的激增和數(shù)據(jù)價值的不斷提升，存儲系統(tǒng)必須采取有效的技術(shù)措施保障用戶數(shù)據(jù)的可靠性、可用性和安全性。面對海量數(shù)據(jù)對存儲系統(tǒng)各方面需求的挑戰(zhàn)，如何對數(shù)據(jù)進行系統(tǒng)有效的保護已成為存儲領(lǐng)域重要課題。由于網(wǎng)絡(luò)存儲系統(tǒng)的復(fù)雜性，單靠某一項數(shù)據(jù)保護技術(shù)是難以解決這個問題的，這要求采用系統(tǒng)化的方式，運用多層次、集成式的方法研究和設(shè)計存儲系統(tǒng)中的數(shù)據(jù)保護技術(shù)。這些技術(shù)包括連續(xù)數(shù)據(jù)保護(Continuous Data Protectio

2、n，簡稱CDP)技術(shù)、冗余數(shù)據(jù)容錯技術(shù)、可伸縮的數(shù)據(jù)分布算法和自適應(yīng)的數(shù)據(jù)遷移技術(shù)等，將它們結(jié)合在一起為存儲系統(tǒng)提供了全面的系統(tǒng)化數(shù)據(jù)保護方案。 首先從單節(jié)點存儲設(shè)備入手，研究并設(shè)計了基于塊級的連續(xù)數(shù)據(jù)保護技術(shù)。根據(jù)當前不同連續(xù)數(shù)據(jù)保護機制的優(yōu)缺點，設(shè)計了一種基于任意時間點適時恢復(fù)(Timely Recovery to Any Point-in-time，簡稱TRAP) 思想的連續(xù)數(shù)據(jù)保護機制——ST-CDP。ST-CDP在保留

3、TRAP系統(tǒng)原有數(shù)據(jù)記錄方式的基礎(chǔ)上，按一定間隔值在恢復(fù)鏈條中插入對應(yīng)時間點的快照數(shù)據(jù)，有效的解決了TRAP系統(tǒng)鏈條易失效和恢復(fù)時間過長問題。借助量化分析模型分析了該機制的性能并確定最優(yōu)的間隔值，并在塊級實現(xiàn)了該機制的原型系統(tǒng)。結(jié)合多組實驗數(shù)據(jù)結(jié)果表明ST-CDP機制具有低存儲空間開銷、低系統(tǒng)性能影響以及高數(shù)據(jù)恢復(fù)效率的特點。 接著設(shè)計了一種基于低密度校驗碼（Low Density Parity Check code，簡稱LDP

4、C）的容錯機制來提高冗余數(shù)據(jù)的可靠性。由于數(shù)據(jù)的恢復(fù)依賴于連續(xù)數(shù)據(jù)保護機制產(chǎn)生的冗余數(shù)據(jù)，因此有必要采用容錯機制提高冗余數(shù)據(jù)的可靠性。使得數(shù)據(jù)不僅在單節(jié)點上能得到保護，在節(jié)點間也具有相互容錯功能。根據(jù)數(shù)據(jù)分布的可靠性和存儲開銷的量化分析，得出一種優(yōu)化的編碼配置，并在iSCSI 集群系統(tǒng)中實現(xiàn)了該容錯機制。經(jīng)過對比實驗結(jié)果表明，無論在正常工作負載還是在降級工作負載下，通過增加少量的存儲空間開銷，采用小型LDPC容錯機制能夠有效地保障冗余數(shù)

5、據(jù)的可靠性。 然后針對大規(guī)模的網(wǎng)絡(luò)存儲設(shè)備會因節(jié)點失效、設(shè)備更新等原因使得不同節(jié)點的工作狀態(tài)會經(jīng)常發(fā)生變化的特點，設(shè)計一種高效的數(shù)據(jù)分布算法，使得存儲系統(tǒng)的節(jié)點狀態(tài)發(fā)生變化時，數(shù)據(jù)的分布能很快趨于平衡，并且所需遷移的數(shù)據(jù)量最少。采用了一種基于區(qū)間映射并根據(jù)存儲節(jié)點的權(quán)值來均勻分配存儲數(shù)據(jù)的分布算法，仿真結(jié)果表明，采用這種算法可以使得數(shù)據(jù)對象的分布與各個節(jié)點的權(quán)重成正比，并且在存儲規(guī)模和權(quán)重發(fā)生改變時，移動的數(shù)據(jù)對象數(shù)量與理論的最

6、少值相當。 最后借鑒控制理論中的反饋控制技術(shù)，研究并設(shè)計了一種自適應(yīng)的動態(tài)數(shù)據(jù)遷移解決方案。在保障存儲系統(tǒng)的可靠性和負載均衡性能過程中，數(shù)據(jù)遷移成為存儲系統(tǒng)重要的操作環(huán)節(jié)，無論是系統(tǒng)內(nèi)部進行數(shù)據(jù)保護、冗余數(shù)據(jù)進行容錯還是外部進行遠程數(shù)據(jù)備份，都需要進行數(shù)據(jù)遷移操作。而通常數(shù)據(jù)遷移會消耗大量的CPU和內(nèi)存資源，因此必須制定可自適應(yīng)調(diào)節(jié)的數(shù)據(jù)遷移機制，使得數(shù)據(jù)遷移操作盡可能地少影響正常的工作業(yè)務(wù)流程。通過實驗驗證，該方案能依據(jù)存儲系