科學(xué)數(shù)據(jù)網(wǎng)格分布式查詢(xún)框架及其關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)網(wǎng)格研究的一個(gè)主要目標(biāo)是實(shí)現(xiàn)海量分布式異構(gòu)數(shù)據(jù)資源的共享。在網(wǎng)格這樣一個(gè)松耦合的分布式異構(gòu)系統(tǒng)中，在不破壞數(shù)據(jù)資源管理者自治性的條件下如何對(duì)這些共享的海量異構(gòu)數(shù)據(jù)資源進(jìn)行有效的查詢(xún)是一個(gè)極具挑戰(zhàn)性的難題。面對(duì)如此挑戰(zhàn)，本文基于科學(xué)數(shù)據(jù)網(wǎng)格的實(shí)際情況對(duì)其分布式查詢(xún)處理系統(tǒng)進(jìn)行了深入的研究。 論文研究的主要內(nèi)容和創(chuàng)新成果如下： 1．設(shè)計(jì)了一個(gè)適用于科學(xué)數(shù)據(jù)網(wǎng)格環(huán)境的分布式查詢(xún)框架——SDGDQA。整個(gè)框架分為三層：用戶(hù)接

2、口層、中間協(xié)調(diào)層和查詢(xún)層。用戶(hù)接口層在框架中充當(dāng)人機(jī)交互界面的角色，它一方面接受用戶(hù)的查詢(xún)請(qǐng)求，主動(dòng)幫助用戶(hù)細(xì)化查詢(xún)要求并顯示查詢(xún)結(jié)果，另一方面又在整個(gè)過(guò)程中記錄并學(xué)習(xí)用戶(hù)的興趣和習(xí)慣；中間協(xié)調(diào)層是框架的核心部分，主要實(shí)現(xiàn)查詢(xún)計(jì)劃的全局優(yōu)化、數(shù)據(jù)資源的定位、查詢(xún)計(jì)劃的拍賣(mài)和分發(fā)等功能；查詢(xún)層主要實(shí)現(xiàn)查詢(xún)計(jì)劃的競(jìng)標(biāo)和局部?jī)?yōu)化等功能。為了適應(yīng)結(jié)點(diǎn)的局部自治性和動(dòng)態(tài)變化性，本文在SDGDQA中使用了移動(dòng)agent技術(shù)，并重點(diǎn)說(shuō)明了移動(dòng)agen

3、t的遷移和通信策略。 2．基于小世界模型的數(shù)據(jù)資源定位機(jī)制。分析了科學(xué)數(shù)據(jù)網(wǎng)格的小世界網(wǎng)絡(luò)特征，并對(duì)其進(jìn)行結(jié)構(gòu)化設(shè)計(jì)。按照虛擬組織-機(jī)構(gòu)-網(wǎng)格實(shí)體(資源)這三個(gè)層次，建立了分層數(shù)據(jù)資源定位模型?；贕ossip協(xié)議建立了虛擬組織內(nèi)部以及虛擬組織之間兩個(gè)層次上的消息擴(kuò)散機(jī)制，并提出了兩層數(shù)據(jù)資源搜索算法。該數(shù)據(jù)資源定位模型符合網(wǎng)格環(huán)境的分布式特點(diǎn)，便于數(shù)據(jù)資源的動(dòng)態(tài)加入與退出，具有很好的可擴(kuò)展性。改進(jìn)后的分層Gossip機(jī)制減小了

4、消息擴(kuò)散負(fù)荷，增大了擴(kuò)散范圍，能有效地更新在各分布式信息服務(wù)器中存儲(chǔ)的異地資源信息。兩層數(shù)據(jù)資源搜索機(jī)制能夠有目的地選擇結(jié)點(diǎn)，從而克服了搜索的盲目性，有效提高了數(shù)據(jù)資源查詢(xún)的效率和性能。 3．基于市場(chǎng)機(jī)制的查詢(xún)計(jì)劃分配模型。首先把SDGDQA中的查詢(xún)計(jì)劃看作一種網(wǎng)格資源，然后根據(jù)數(shù)據(jù)網(wǎng)格的特點(diǎn)和市場(chǎng)機(jī)制特性的部分一致性，利用市場(chǎng)機(jī)制來(lái)實(shí)現(xiàn)查詢(xún)計(jì)劃的分配，并詳細(xì)介紹了查詢(xún)計(jì)劃分配模型的系統(tǒng)結(jié)構(gòu)、具體經(jīng)濟(jì)模型、協(xié)商協(xié)議以及競(jìng)標(biāo)和拍賣(mài)

5、算法，最后對(duì)模型中的拍賣(mài)師和競(jìng)標(biāo)者的收益進(jìn)行了分析。分析表明基于市場(chǎng)機(jī)制的查詢(xún)計(jì)劃分配模型具有以下優(yōu)點(diǎn)：(a)從原來(lái)資源分配以系統(tǒng)為中心轉(zhuǎn)化為以用戶(hù)為中心；(b)為查詢(xún)資源提供者提供公平存取查詢(xún)計(jì)劃的基礎(chǔ)；(c)鼓勵(lì)查詢(xún)資源提供者貢獻(xiàn)他們的空閑資源并能從中獲利，有利于調(diào)節(jié)網(wǎng)格資源的供需平衡，便于建立大規(guī)模的網(wǎng)格資源分配系統(tǒng)；(d)允許查詢(xún)計(jì)劃提供者表達(dá)他們的需求和目標(biāo)；(e)查詢(xún)計(jì)劃提供者和查詢(xún)資源提供者能夠根據(jù)自己的實(shí)際情況做出決策，

6、最大化各自的效用和利益。 4．基于遺傳規(guī)劃的查詢(xún)優(yōu)化算法及其收斂性分析。提出一種基于遺傳規(guī)劃的查詢(xún)優(yōu)化算法。該算法把查詢(xún)計(jì)劃看作一棵查詢(xún)樹(shù)，從而在表達(dá)形式上更加靈活。算法搜索空間內(nèi)的個(gè)體都是LBT樹(shù)。對(duì)比分析了搜索空間內(nèi)的個(gè)體是LBT樹(shù)和GBT樹(shù)的上下界，分析的結(jié)果可以看出算法大大縮小了搜索的范圍。算法在適應(yīng)度函數(shù)定義方面添加了懲罰項(xiàng)，對(duì)關(guān)系之間帶有笛卡兒積的LBT樹(shù)進(jìn)行懲罰。在運(yùn)算算子的設(shè)計(jì)方面使用同源交叉法，使得交叉過(guò)程能夠