基于P2P框架的數(shù)據(jù)庫(kù)網(wǎng)格中若干關(guān)鍵技術(shù)的研究.pdf

1、隨著信息技術(shù)的發(fā)展,各行業(yè)的信息量呈爆炸性增長(zhǎng),其中包括眾多公共有效的數(shù)據(jù)庫(kù)資源。地理上廣泛分布的用戶(hù)都希望能夠按需透明地訪(fǎng)問(wèn)和使用這些豐富的數(shù)據(jù)資源。如高能物理、生物計(jì)算等科學(xué)研究領(lǐng)域、電子商務(wù)領(lǐng)域和深層Web數(shù)據(jù)查詢(xún)領(lǐng)域等。數(shù)據(jù)網(wǎng)格是基于廣域網(wǎng)對(duì)海量、分布異構(gòu)的數(shù)據(jù)資源進(jìn)行管理、訪(fǎng)問(wèn)和共享的系統(tǒng)。數(shù)據(jù)庫(kù)網(wǎng)格概念是隨著公有數(shù)據(jù)庫(kù)資源的豐富而提出的,是以數(shù)據(jù)庫(kù)為主要資源的一種數(shù)據(jù)網(wǎng)格系統(tǒng),可為上述應(yīng)用提供良好的支持。一方面,利用網(wǎng)格環(huán)境

2、的高效處理能力實(shí)現(xiàn)海量數(shù)據(jù)的有效整合,有效地利用已有眾多的數(shù)據(jù)庫(kù)資源;同時(shí)也可以利用數(shù)據(jù)庫(kù)管理系統(tǒng)高效的數(shù)據(jù)管理能力,為網(wǎng)格內(nèi)實(shí)現(xiàn)數(shù)據(jù)庫(kù)資源的有效管理、分布數(shù)據(jù)的優(yōu)化集成以及海量數(shù)據(jù)的分析處理等提供強(qiáng)有力的支持。為此,本文針對(duì)目前支持?jǐn)?shù)據(jù)庫(kù)網(wǎng)格的若干關(guān)鍵技術(shù)進(jìn)行研究,主要包括基于P2P模型的網(wǎng)格體系結(jié)構(gòu)、P2P支持框架、資源管理、數(shù)據(jù)動(dòng)態(tài)集成、資源副本管理、數(shù)據(jù)概要等進(jìn)行深入研究。
　　 目前有關(guān)數(shù)據(jù)庫(kù)網(wǎng)格的研究和開(kāi)發(fā)還處于起步

3、階段。幾年來(lái),最具有代表性的工作是隸屬于全球網(wǎng)格論壇(GGF:Global Grid Forum)的DAIS工作組(Database Access and Integration Services Working Group)制定的網(wǎng)格環(huán)境下訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)的協(xié)議和中間件,以及針對(duì)特定應(yīng)用數(shù)據(jù)庫(kù)進(jìn)行處理的網(wǎng)格系統(tǒng)。已有工作大多是針對(duì)特定領(lǐng)域,基于靜態(tài)環(huán)境構(gòu)建的數(shù)據(jù)庫(kù)網(wǎng)格系統(tǒng),很少有如何適應(yīng)網(wǎng)格環(huán)境內(nèi)數(shù)據(jù)庫(kù)資源的不確定性的相關(guān)討論,也沒(méi)有看到有

4、關(guān)完善的支持動(dòng)態(tài)數(shù)據(jù)集成的數(shù)據(jù)庫(kù)網(wǎng)格的報(bào)道。雖然網(wǎng)格環(huán)境下針對(duì)數(shù)據(jù)庫(kù)的處理技術(shù)同已有的多數(shù)據(jù)庫(kù)、并行數(shù)據(jù)庫(kù)以及分布式數(shù)據(jù)庫(kù)的處理技術(shù)有很多相容的方面,但由于網(wǎng)格環(huán)境內(nèi)數(shù)據(jù)資源的不確定性(動(dòng)態(tài)性),已有支持技術(shù)不足以支持構(gòu)建具有不確定性的數(shù)據(jù)庫(kù)網(wǎng)格環(huán)境。這些不確定性給數(shù)據(jù)庫(kù)網(wǎng)格中數(shù)據(jù)資源管理、資源查詢(xún)處理、數(shù)據(jù)集成、事務(wù)調(diào)度、海量數(shù)據(jù)分析等帶來(lái)了新的挑戰(zhàn)。
　　 本文基于OGSA-DAI(Open Grid Service Arc

5、hitecture-Database Access and Integration)規(guī)范,采用面向服務(wù)的思想,基于P2P模型,研究構(gòu)建一個(gè)面向多領(lǐng)域的、支持動(dòng)態(tài)數(shù)據(jù)集成的數(shù)據(jù)庫(kù)網(wǎng)格系統(tǒng)的若干關(guān)鍵技術(shù)。目的是在網(wǎng)格環(huán)境下,借用網(wǎng)格的高效處理能力,為分布、自治、異構(gòu)的數(shù)據(jù)庫(kù)資源的有效管理、動(dòng)態(tài)數(shù)據(jù)集成和分析處理等提供一個(gè)良好的使能環(huán)境,透明地為用戶(hù)按需提供服務(wù)。
　　 在支持?jǐn)?shù)據(jù)庫(kù)網(wǎng)格的框架結(jié)構(gòu)方面,針對(duì)集中的資源管理方法具有一定的

6、局限性,呈現(xiàn)出了Peer to Peer(P2P)體系結(jié)構(gòu)。P2P方式,可避免單點(diǎn)失敗,并具有可擴(kuò)展性好等特點(diǎn)。為支持多領(lǐng)域的資源管理,在Chord結(jié)構(gòu)基礎(chǔ)上,提出了一種適用于數(shù)據(jù)庫(kù)網(wǎng)格的P2P框架結(jié)構(gòu)-MultiChord,可有效支持多領(lǐng)域的資源管理。
　　 在模式集成和查詢(xún)處理方面,針對(duì)數(shù)據(jù)庫(kù)網(wǎng)格內(nèi)資源的自治、異構(gòu)特性,定義全局模式本體,并提出了一種基于本體的查詢(xún)處理策略,提高查詢(xún)效率,實(shí)現(xiàn)異構(gòu)查詢(xún)。將查詢(xún)處理分為全局查詢(xún)和

7、局部查詢(xún)處理兩部分。在全局查詢(xún)處理階段,基于本體實(shí)現(xiàn)語(yǔ)義轉(zhuǎn)換、查詢(xún)重寫(xiě)和生成查詢(xún)執(zhí)行計(jì)劃。由局部查詢(xún)處理解決數(shù)據(jù)層沖突和查詢(xún)的語(yǔ)義擴(kuò)展。
　　 在執(zhí)行優(yōu)化方面,為有效地減少數(shù)據(jù)傳輸代價(jià),提出了一種基于關(guān)鍵字過(guò)濾的執(zhí)行優(yōu)化策略,并基于“能者多勞”的思想,動(dòng)態(tài)協(xié)調(diào)數(shù)據(jù)資源的傳輸量,有效地提高了數(shù)據(jù)網(wǎng)格內(nèi)的數(shù)據(jù)資源的獲取效率。
　　 在副本管理方面,針對(duì)P2P系統(tǒng)中節(jié)點(diǎn)可隨時(shí)加入和退出的動(dòng)態(tài)特性,為保證基于P2P模型的數(shù)據(jù)網(wǎng)格

8、系統(tǒng)的健壯性,提出了一種基于多根節(jié)點(diǎn)多點(diǎn)維護(hù)的副本管理策略,可有效地保證數(shù)據(jù)網(wǎng)格系統(tǒng)的健壯性,提高了資源的獲取效率。
　　 在數(shù)據(jù)概要方面,為有效地從海量數(shù)據(jù)的查詢(xún)結(jié)果信息中獲取最多的知識(shí),提出了一種基于聚類(lèi)分析的分布式的數(shù)據(jù)概要策略。數(shù)據(jù)集成層保證合成的數(shù)據(jù)滿(mǎn)足用戶(hù)的模式需求,聚類(lèi)分析層將概要數(shù)據(jù)展示給用戶(hù),以便于直觀(guān)的數(shù)據(jù)分析。
　　 最后,在提出的關(guān)鍵技術(shù)基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)支持多領(lǐng)域的、面向數(shù)據(jù)庫(kù)資源動(dòng)態(tài)集成