基于移動(dòng)Agent的搜索系統(tǒng)的研究.pdf

1、目前，搜索引擎已經(jīng)成為互聯(lián)網(wǎng)的主要應(yīng)用。隨著Internet的信息量迅速增長，傳統(tǒng)搜索引擎不能很好地適應(yīng)這個(gè)變化。而一般分布式搜索系統(tǒng)由于系統(tǒng)的異構(gòu)性及要求子系統(tǒng)配合協(xié)作，因而擴(kuò)展性不強(qiáng)，未能體現(xiàn)真正分布系統(tǒng)的優(yōu)越性。移動(dòng)Agent作為新一代分布式處理技術(shù)，它的移動(dòng)性、自治性、主動(dòng)性、協(xié)作性、智能性等特性為分布式搜索引擎帶來了新的生命力，可以最大限度地節(jié)省服務(wù)器資源和網(wǎng)絡(luò)帶寬，很好地解決了目前分布式搜索系統(tǒng)存在的許多問題，是搜索系統(tǒng)的一

2、個(gè)新的發(fā)展趨勢。 本文首先介紹了集中式和分布式兩類搜索引擎，分析了國內(nèi)外分布式搜索引擎的研究現(xiàn)狀及發(fā)展趨勢，指出了目前分布式搜索引擎存在的不足。針對這些不足，本文討論了移動(dòng)Agent和搜索引擎相關(guān)技術(shù)及其性能優(yōu)勢，并討論了一個(gè)基于Agent的搜索引擎系統(tǒng)體系結(jié)構(gòu)，介紹了系統(tǒng)的工作原理及各模塊的功能。該系統(tǒng)采用元搜索引擎的結(jié)構(gòu)，以Agent作為架構(gòu)系統(tǒng)的基本組件，利用Agent的自治性和協(xié)作性，使搜索系統(tǒng)的性能得到了很大的提高，不

3、僅網(wǎng)絡(luò)流量小，且減少了查詢時(shí)間，同時(shí)也簡化了系統(tǒng)處理的復(fù)雜度。指出了移動(dòng)Agent應(yīng)用于搜索系統(tǒng)是解決網(wǎng)絡(luò)環(huán)境下大量信息資源檢索的有效途徑。但是，由于移動(dòng)Agent攜帶了代碼、狀態(tài)信息、結(jié)果數(shù)據(jù)等各種信息，隨著搜索站點(diǎn)的增加會產(chǎn)生大量的數(shù)據(jù)傳輸，增加網(wǎng)絡(luò)負(fù)擔(dān)，因此移動(dòng)Agent技術(shù)不利于構(gòu)建大型的分布式搜索系統(tǒng)。針對這個(gè)問題，本文設(shè)計(jì)了基于移動(dòng)Agent的搜索引擎模型，并對該模型的系統(tǒng)結(jié)構(gòu)及工作流程進(jìn)行了詳細(xì)的分析。最后利用移動(dòng)Agen

4、t的開發(fā)工具ASDK初步實(shí)現(xiàn)了該模型的部分功能，驗(yàn)證了本系統(tǒng)的可行性。本文的主要研究工作和創(chuàng)新如下： 1.分析了國內(nèi)外分布式搜索引擎的研究現(xiàn)狀，指出了目前分布式搜索引擎的不足，針對這些不足，討論一種基于移動(dòng)Agent的搜索系統(tǒng)； 2.由于不同搜索系統(tǒng)對查詢語句的理解差異性，降低了查準(zhǔn)率，本文討論了對用戶提交的查詢語句進(jìn)行XML規(guī)范化的處理，有助于異構(gòu)系統(tǒng)對查詢語句的理解； 3.考慮到移動(dòng)Agent之間通信交

5、互攜帶了大量的信息，提出在系統(tǒng)中增加路由Agent的設(shè)想，通過搜索引擎的注冊信息特征：如搜索區(qū)域，搜索類別等，對搜索路線進(jìn)行配置，不僅有助于加快響應(yīng)速度，同時(shí)也有助提高搜索覆蓋率； 4.考慮到不同的元搜索引擎返回的結(jié)果信息存在大量冗余，提出在保存結(jié)果信息前，與上一搜索站的結(jié)果信息進(jìn)行比較、去冗余、排序等結(jié)果處理，并重新調(diào)整權(quán)重值； 分析了基于移動(dòng)Agent的搜索系統(tǒng)的模型和工作流程，利用ASDK和Java開發(fā)工具初步實(shí)現(xiàn)