基于二次打包糾錯(cuò)的數(shù)據(jù)庫同步機(jī)制研究.pdf

1、隨著信息化技術(shù)的發(fā)展，網(wǎng)絡(luò)環(huán)境的普及，目前在企事業(yè)單位信息工程的建設(shè)過程中，越來越重視信息資源共享、數(shù)據(jù)交換等需求，但是由于各部門間地理上存在分布廣泛、數(shù)據(jù)庫形式復(fù)雜多樣，表現(xiàn)出很大的異構(gòu)性，因此如何實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫之間高效、安全、準(zhǔn)確的數(shù)據(jù)同步，是現(xiàn)代企業(yè)應(yīng)用系統(tǒng)中亟待解決的重要問題之一。
　　 目前，廣泛應(yīng)用于商業(yè)中的數(shù)據(jù)庫同步方案主要分為兩大類型：(一)大型數(shù)據(jù)庫廠商在其同構(gòu)數(shù)據(jù)庫的同步產(chǎn)品基礎(chǔ)上，提出自己的異構(gòu)數(shù)據(jù)庫同步方

2、案；(二)一些ISV開發(fā)的大量具有異構(gòu)數(shù)據(jù)庫同步功能的數(shù)據(jù)庫同步中間件，并獲得市場普遍認(rèn)同。但是商業(yè)異構(gòu)數(shù)據(jù)庫同步產(chǎn)品存在一定的封閉性，代碼不公開，標(biāo)準(zhǔn)不統(tǒng)一，各種產(chǎn)品之間很難做到互連互通互操作；而學(xué)術(shù)界已有方案在效率上、通用性、開放性及對同步失敗問題的解決上存在不足。為解決上述問題，本文設(shè)計(jì)并實(shí)現(xiàn)了基于二次打包糾錯(cuò)的數(shù)據(jù)庫同步機(jī)制。主要工作包括：
　　 ⑴提出基于變更軌跡表與事務(wù)相結(jié)合的數(shù)據(jù)庫變更數(shù)據(jù)捕獲技術(shù)，確保數(shù)據(jù)操作信息

3、與數(shù)據(jù)變更軌跡信息的一致性，同時(shí)變更軌跡表運(yùn)行效率較高，占用存儲(chǔ)空間較小，易于管理。
　　 ⑵利用XML的易于擴(kuò)展、與平臺(tái)無關(guān)、交互性好、語義性強(qiáng)、可格式化等優(yōu)點(diǎn)，進(jìn)行變更數(shù)據(jù)信息的封裝和解析，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)同步。
　　 ⑶使用消息隊(duì)列中間件技術(shù)進(jìn)行數(shù)據(jù)傳輸，確保數(shù)據(jù)包傳輸?shù)捻樞蛐?，提高?shù)據(jù)傳輸?shù)陌踩浴?br>　　 ⑷結(jié)合優(yōu)先級與時(shí)間戳技術(shù)解決數(shù)據(jù)沖突問題。通過人工定義各節(jié)點(diǎn)或各個(gè)操作人員的優(yōu)先級，進(jìn)行沖突

4、數(shù)據(jù)的取舍，具有靈活、便捷的優(yōu)點(diǎn)；當(dāng)優(yōu)先級相同時(shí)結(jié)合時(shí)間戳進(jìn)行數(shù)據(jù)修改時(shí)間的判斷，提高最終結(jié)果數(shù)據(jù)的準(zhǔn)確性。
　　 ⑸提出二次打包糾錯(cuò)方法。針對對賬檢測功能監(jiān)控到的數(shù)據(jù)同步失敗，將同步失敗的數(shù)據(jù)包采用二次打包方法后，重新補(bǔ)發(fā)。解決在數(shù)據(jù)庫同步過程中，發(fā)生意外故障導(dǎo)致數(shù)據(jù)包丟失、解包失敗等錯(cuò)誤，發(fā)送端與接收端數(shù)據(jù)不一致的問題。通過二次打包糾錯(cuò)方法處理，發(fā)送端與接收端的數(shù)據(jù)庫最終得到干凈、一致的數(shù)據(jù)，避免出現(xiàn)“臟數(shù)據(jù)”。