基于存儲區(qū)域網(wǎng)絡(luò)的數(shù)據(jù)可靠性技術(shù)研究.pdf

1、全球經(jīng)濟正經(jīng)歷著一場深刻的大變革，這場變革的關(guān)鍵就在于信息的應(yīng)用。信息正成為最具有活力、最重要的生產(chǎn)要素之一。信息量的激增同時也增加了信息資源管理的難度，給信息的存儲和處理帶來了巨大的挑戰(zhàn)，。存儲管理技術(shù)的研究得到了普遍的關(guān)注，并逐漸成為研究熱點。存儲硬件技術(shù)的發(fā)展，使海量數(shù)據(jù)存儲成為可能，也為存儲管理技術(shù)的發(fā)展提供了機遇。借助于存儲區(qū)域網(wǎng)絡(luò)(StorageAreaNetwork,SAN)，人均可管理數(shù)據(jù)量大大超過直接相連存儲系統(tǒng)(Di

2、rectAttachStorage,DAS)。存儲區(qū)域網(wǎng)絡(luò)的出現(xiàn)，改變了存儲系統(tǒng)的管理方式，數(shù)據(jù)由分散存儲到集中存儲。在存儲能力大幅度提高的同時，數(shù)據(jù)管理的工作量和復(fù)雜度也不斷增加，而原有存儲管理技術(shù)制約著人均可管理數(shù)據(jù)量的進一步提高。多項調(diào)查表明，存儲管理技術(shù)是限制存儲容量進一步發(fā)展的瓶頸。存儲管理一方面要提高存儲資源的利用效率，另一方面要提高人的管理效率，需要將管理員從繁雜的重復(fù)勞動中解放出來，提高存儲管理軟件的智能程度，使其成為存

3、儲管理工作的主體。存儲系統(tǒng)的自動化管理的研究目標(biāo)就是提高存儲管理系統(tǒng)的智能程度，減少人為干預(yù)，降低存儲管理工作的難度和強度。 另一方面，數(shù)據(jù)激增帶給企業(yè)巨大財富的同時，數(shù)據(jù)的價值已經(jīng)遠(yuǎn)遠(yuǎn)超過了計算機系統(tǒng)本身的價值，意外的停機或數(shù)據(jù)損壞會給企業(yè)帶來巨大的損失。數(shù)據(jù)災(zāi)難造成的經(jīng)濟損失遠(yuǎn)遠(yuǎn)大于計算機系統(tǒng)本身故障造成的損失。從911事件之類的恐怖襲擊，到停電、硬盤故障等意外事件都會導(dǎo)致數(shù)據(jù)丟失。為了避免數(shù)據(jù)損失，已經(jīng)實現(xiàn)了各種不同的高可

4、靠性技術(shù)，包括冗余磁盤陣列(RedundentArrayofIncxpcnsivcDisks,RAID)，復(fù)制技術(shù)等。用戶在選擇存儲系統(tǒng)時，可靠性也正日益成為一個重要的指標(biāo)。但是目前的數(shù)據(jù)高可靠性研究還存在以下幾個問題：(1)缺乏數(shù)據(jù)可靠性的準(zhǔn)確定義。目前研究存儲系統(tǒng)可靠性主要著眼于存儲系統(tǒng)中的磁盤陣列或存儲子系統(tǒng)的可靠性，而不是其上保存數(shù)據(jù)的可靠性。海量數(shù)據(jù)存儲管理中，同一磁盤陣列上的數(shù)據(jù)可能具有不同的可靠性要求，其次，使用不同的備份

5、周期和參數(shù)，不同的數(shù)據(jù)也確實具有不同的可靠性。(2)缺乏統(tǒng)一的可靠性度量標(biāo)準(zhǔn)，尤其是衡量組合容災(zāi)方案的方法。各個廠商為用戶提供了多種多樣的備份技術(shù)，并提供了這些方案的設(shè)置和使用方法，但是如何評價組合方案的效果仍存在巨大的空白。不同方案涉及到的技術(shù)和參數(shù)各不相同，也和用戶的需求表示方式存在有巨大的差異，急需適用于用戶和業(yè)界的統(tǒng)一的可靠性度量標(biāo)準(zhǔn)。(3)缺乏智能化的管理系統(tǒng)。備份和恢復(fù)是數(shù)據(jù)管理員最繁重的工作，而且單調(diào)乏味，適合計算機來進行

6、管理。定義好恢復(fù)規(guī)則后，在監(jiān)測到故障發(fā)生后，自治系統(tǒng)自動恢復(fù)數(shù)據(jù)可以加快數(shù)據(jù)恢復(fù)速度。 本文對基于存儲區(qū)域網(wǎng)絡(luò)的數(shù)據(jù)可靠性的管理問題進行了研究，提出了數(shù)據(jù)可靠性的定義，包括數(shù)據(jù)可靠性的分析框架及分析方法，海量數(shù)據(jù)的備份和恢復(fù)算法；在此基礎(chǔ)上實現(xiàn)了高可靠性存儲系統(tǒng)的自動設(shè)計與自治管理。其目的是通過解決存儲服務(wù)中數(shù)據(jù)可靠性相關(guān)的幾個關(guān)鍵技術(shù)問題，創(chuàng)建一個集成的存儲可靠性自治管理系統(tǒng)，試圖為存儲管理系統(tǒng)的設(shè)計建立理論基礎(chǔ)，為基于存儲網(wǎng)

7、絡(luò)的大規(guī)模存儲自治管理系統(tǒng)的應(yīng)用提供支持。本文反映了作者自2001年以來的研究工作，主要研究內(nèi)容和創(chuàng)新點如下： 1.在分析現(xiàn)有的軟硬件可靠性評價模型的基礎(chǔ)上，提出了利用數(shù)據(jù)價值和停用損失來度量數(shù)據(jù)可靠性的思想，給出了數(shù)據(jù)可靠性的定義。以此為基礎(chǔ)，提出了用于分析數(shù)據(jù)可靠性的抽象模型。該模型對數(shù)據(jù)可用性、完整性、災(zāi)難恢復(fù)等不同的特征都賦以不同的權(quán)重，并通過用戶損失來描述，統(tǒng)一了用戶和設(shè)計人員的標(biāo)準(zhǔn)，建立了統(tǒng)一的分析模型。 2

8、.根據(jù)數(shù)據(jù)在時間和空間上的分布特性，提出了計算副本剩余價值的方法。利用該方法，設(shè)計了故障發(fā)生后使數(shù)據(jù)損失最小的恢復(fù)策略。并提出了海量存儲系統(tǒng)中，使系統(tǒng)整體損失最小的備份和恢復(fù)算法。 3.對高可靠性技術(shù)性能進行了研究。首先，設(shè)計并實現(xiàn)了一個測量復(fù)制技術(shù)性能的工具，該工具可以對用不同方式實現(xiàn)的復(fù)制的性能進行測量和比較。其次，在ns2的基礎(chǔ)上實現(xiàn)了存儲區(qū)域網(wǎng)絡(luò)模擬器，可以用來模擬和計算SAN內(nèi)數(shù)據(jù)傳輸性能。 4.以數(shù)據(jù)可靠性模

9、型和高可靠性技術(shù)分析為基礎(chǔ)，提出了數(shù)據(jù)可靠性自動設(shè)計系統(tǒng)，該系統(tǒng)能根據(jù)用戶的可靠性和成本要求給出合適的存儲、備份方案。 5.以數(shù)據(jù)可靠性模型和副本價值計算方法為基礎(chǔ)，設(shè)計并實現(xiàn)了基于備份管理的可靠性管理自治系統(tǒng)，通過預(yù)定的策略將存儲系統(tǒng)的可靠性管理自動化，簡化了管理任務(wù)，降低了管理成本。另外，自治系統(tǒng)可以通過對系統(tǒng)的監(jiān)測，對復(fù)制參數(shù)進行調(diào)節(jié)，更好地達(dá)到預(yù)定目標(biāo)。 本文的部分研究是與國外某大型IT企業(yè)(世界500強)合作完