基于Agent的搜索引擎的研究與實現(xiàn).pdf

1、近幾年來,隨著計算機和網(wǎng)絡的發(fā)展,互聯(lián)網(wǎng)信息成指數(shù)級增長,搜索引擎已經(jīng)成為用戶上網(wǎng)必不可少的工具。傳統(tǒng)搜索引擎的優(yōu)點是信息量大,更新及時,無需人工干預,但隨著網(wǎng)絡信息的成倍增長,海量搜索技術的弊端也日益明顯,返回信息過多,夾雜著大量重復或無關的信息,必須從檢索結果中自行進行二次或多次篩選,無形中降低了搜索的準確性。迫切需要能有新的技術來解決這些問題。
　　 本文在深入分析網(wǎng)頁信息搜集、文件處理、中文分詞和索引模塊的基礎上,針對目

2、前專業(yè)搜索引擎熱點研究的專業(yè)網(wǎng)頁的定向獲取問題,設計的一種專業(yè)搜索引擎。該引擎利用人工智能以及Agent技術,通過對網(wǎng)站進行相關度評估,實現(xiàn)了專業(yè)網(wǎng)頁的定向獲取,同時對分詞部分和索引部分架構進行了改進,實現(xiàn)了各部分之間的協(xié)同工作。其主要工作有三個方面:
　　 1)分析和研究了傳統(tǒng)搜索引擎的技術特點和主要的體系架構,對搜索引擎的發(fā)展歷程和未來的發(fā)展方向做了探討；
　　 2)分析與研究了Agent技術的主要類別和各自的特點,

3、結合搜索引擎的特點和實現(xiàn)因素的考慮,選擇了Multi-Agent模型來實現(xiàn)搜索引擎系統(tǒng)。
　　 3)在Agent模型和搜索引擎功能架構的基礎上,引入并改進了多個人工智能的算法和思想,結合HTML代碼自身的特點,大力提高了搜索引擎系統(tǒng)的智能性和用戶個性分析度,其主要技術包括:通過標記樹以及分層標記符的劃分,提高了系統(tǒng)對于文檔核心意義判定的能力；采用了用戶興趣度研究、多用戶興趣協(xié)作等人工智能模型和思想,提高用戶界面Agent的智能性