基于Agent的智能化搜索引擎系統(tǒng).pdf

1、本文在深入分析網(wǎng)頁信息搜集、文件處理、中文分詞以及索引模塊的基礎(chǔ)上，針對目前專業(yè)搜索引擎熱點研究的專業(yè)網(wǎng)頁的定向獲取問題，設(shè)計了新的專業(yè)搜索引擎系統(tǒng)。本系統(tǒng)利用人工智能自學(xué)習(xí)以及Agent技術(shù)，通過對網(wǎng)站進行相關(guān)度評價，實現(xiàn)了專業(yè)網(wǎng)頁的定向獲取，同時對分詞部分和索引部分架構(gòu)進行了改進，實現(xiàn)了各子系統(tǒng)之間的協(xié)同工作。 本系統(tǒng)建立了系統(tǒng)維護評價系統(tǒng)的知識庫，知識庫存放了在已知Internet空間化工專業(yè)信息的分布情況。系統(tǒng)初次啟動時

2、，分析專業(yè)詞匯在網(wǎng)站中的分布，從而獲取得知該網(wǎng)站與化工專業(yè)的相關(guān)度。并且在以后的信息搜集過程中，以知識庫中的信息為依據(jù)對站點進行排序，使網(wǎng)絡(luò)機器人總是優(yōu)先爬行專業(yè)相關(guān)度高的網(wǎng)站，這樣可以確保專業(yè)網(wǎng)頁的定向獲取。 該系統(tǒng)利用了Agent技術(shù)，對信息搜集系統(tǒng)進行了改進。改進后的系統(tǒng)，擁有一套應(yīng)用層的協(xié)議系統(tǒng)，確保運行于不同物理位置的信息搜集系統(tǒng)和知識庫間的信息交換的可靠性和安全性。系統(tǒng)搜集的信息也可以保存在本地。與目前的信息搜集系統(tǒng)