面向分布式環(huán)境的數(shù)據(jù)交互與存取模型研究.pdf

1、分布式環(huán)境下異構(gòu)系統(tǒng)間的數(shù)據(jù)交互與共享技術(shù)，是分布式領(lǐng)域的關(guān)鍵技術(shù)之一。伴隨網(wǎng)絡(luò)結(jié)構(gòu)的日趨復雜以及網(wǎng)絡(luò)規(guī)模的日益擴大，具有分布式特點的異構(gòu)環(huán)境不斷增加，各種數(shù)據(jù)量也隨之劇增，“信息孤島”問題愈演愈烈。美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究表明，互聯(lián)網(wǎng)數(shù)據(jù)每年將增長50％，兩年便可翻倍;目前，最近幾年所產(chǎn)生的數(shù)據(jù)占世界數(shù)據(jù)總和的90％以上。綜上所述，系統(tǒng)的分布式特點和數(shù)據(jù)量的劇增，使人們逐步進入信息化、大數(shù)據(jù)時代，系統(tǒng)內(nèi)或系統(tǒng)間的數(shù)據(jù)交互在可靠性、靈活性

2、和實時性等方面尚有許多不足。目前，我國教育信息化建設(shè)在基礎(chǔ)設(shè)施和資源建設(shè)方面已初具規(guī)模，但在一體化信息建設(shè)方面尚顯不足，亟需一套比較完善的數(shù)據(jù)交互和共享類產(chǎn)品。
　　為了滿足上述不足，本文面向分布式環(huán)境下的數(shù)據(jù)交互與海量數(shù)據(jù)存取領(lǐng)域進行研究。在數(shù)據(jù)交互方面，首先，借鑒數(shù)據(jù)庫同步復制機制，并結(jié)合差異同步法，提出以事務為單位的基于更新日志的數(shù)據(jù)同步法;通過對事務操作進行監(jiān)聽，將成功執(zhí)行的事務對應的數(shù)據(jù)變更操作，拆分為對應的原子SQL操

3、作，并分析各個操作間的關(guān)系;提出日志項合并算法，對各操作進行合并，之后寫入更新日志。然后，基于已有的數(shù)據(jù)傳輸與同步方案，使用消息中間件技術(shù)，提出基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型，用于傳輸更新日志實現(xiàn)數(shù)據(jù)交互。最后，將三者結(jié)合，提出面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型。在數(shù)據(jù)存取方面，基于關(guān)系數(shù)據(jù)庫為主、NoSQL為輔的架構(gòu)，提出關(guān)系數(shù)據(jù)庫為主、NoSQL為高速緩存的數(shù)據(jù)存取模型;通過創(chuàng)建一個數(shù)據(jù)庫字段訪問頻率函數(shù)和閾值，將訪問頻率大于閾值的

4、字段存儲到NoSQL，從而提高了緩存命中率。數(shù)據(jù)交互接口模型和數(shù)據(jù)存取模型共同組成數(shù)據(jù)交互與存取模型，本文將該模型應用于學位信息上報部分作為應用實例，設(shè)計并實現(xiàn)了通用學位信息上報組件。在該實例中，通過變更數(shù)據(jù)捕獲器捕獲高校端變更的學位信息，使用合并算法將變更的數(shù)據(jù)壓縮后寫入更新日志;然后，利用組代理消息中間件傳輸日志到學位中心端，通過更新監(jiān)聽器解析執(zhí)行更新日志內(nèi)容，將變更數(shù)據(jù)同步到關(guān)系數(shù)據(jù)庫;最后，學位中心端同步控制器將關(guān)系數(shù)據(jù)庫的變更