基于郵儲(chǔ)歷史數(shù)據(jù)管理的數(shù)據(jù)遷移系統(tǒng)研究與實(shí)現(xiàn).pdf

1、諸如銀行、電信等行業(yè)都有著業(yè)務(wù)集中、數(shù)據(jù)集中、大業(yè)務(wù)量、業(yè)務(wù)連續(xù)性強(qiáng)的特點(diǎn)。數(shù)據(jù)量的急劇增長對(duì)數(shù)據(jù)的存放、管理和使用提出了挑戰(zhàn)。目前，分級(jí)存儲(chǔ)管理(HSM)是解決這種海量數(shù)據(jù)管理的一種主流方式。 分級(jí)存儲(chǔ)管理一般由數(shù)據(jù)遷移系統(tǒng)來實(shí)現(xiàn)。而數(shù)據(jù)遷移系統(tǒng)要解決兩個(gè)關(guān)鍵問題：數(shù)據(jù)遷移和存儲(chǔ)管理。數(shù)據(jù)遷移通常包含以下技術(shù)：一、不同主機(jī)或存儲(chǔ)設(shè)備之間的數(shù)據(jù)文件或數(shù)據(jù)塊的傳輸技術(shù)；二、數(shù)據(jù)庫之間海量數(shù)據(jù)的(增量)導(dǎo)入、導(dǎo)出技術(shù)；三、異構(gòu)數(shù)據(jù)庫

2、之間的數(shù)據(jù)映射與轉(zhuǎn)換技術(shù)；四、針對(duì)具體應(yīng)用環(huán)境所采用的其它技術(shù)(如遷移作業(yè)的調(diào)度管理)等。在存儲(chǔ)管理方面，目前除了對(duì)存儲(chǔ)設(shè)備本身(如磁盤陣列、磁帶庫、光盤庫)的存儲(chǔ)管理技術(shù)研究外，存儲(chǔ)資源的整合與虛擬化的研究則是另一個(gè)需要深入研究的問題。本文以郵儲(chǔ)歷史數(shù)據(jù)管理軟、硬件環(huán)境為基礎(chǔ)，從用戶的實(shí)際需求出發(fā)，按照生產(chǎn)系統(tǒng)數(shù)據(jù)庫、歷史系統(tǒng)數(shù)據(jù)庫、光盤庫三個(gè)存儲(chǔ)層級(jí)對(duì)數(shù)據(jù)遷移系統(tǒng)進(jìn)行了研究與實(shí)現(xiàn)。本文的研究工作包括以下幾個(gè)方面：存儲(chǔ)規(guī)劃、Oracl

3、e表數(shù)據(jù)遷移腳本工具的編寫、批量遷移作業(yè)的調(diào)度和離線數(shù)據(jù)歸檔管理。其中，批量遷移作業(yè)的調(diào)度和歸檔數(shù)據(jù)存儲(chǔ)算法是本文研究與實(shí)現(xiàn)的重點(diǎn)。 在批量遷移作業(yè)的調(diào)度執(zhí)行方面，作者借鑒了開源的OpenPBS以及其它作業(yè)系統(tǒng)的一些設(shè)計(jì)思想，實(shí)現(xiàn)了更實(shí)用的批處理作業(yè)管理系統(tǒng)。調(diào)度系統(tǒng)將作業(yè)分派在多臺(tái)主機(jī)上運(yùn)行，使主機(jī)之間負(fù)載均衡，還可以將作業(yè)分派在預(yù)先指定的機(jī)器上，從而大大縮減了數(shù)據(jù)遷移的處理時(shí)間。在光盤庫離線數(shù)據(jù)文件存放管理方面，本文通過分析