基于多Agent系統(tǒng)的主題爬行蟲協(xié)作與實現(xiàn)方法研究.pdf

1、互聯(lián)網(wǎng)信息以指數(shù)級增長，給通用搜索引擎帶來巨大壓力，使得通用搜索引擎搜索結(jié)果不全面，對于用戶輸入的查詢詞，返回大量的無關(guān)信息，這就使得主題爬行蟲誕生。主題爬行蟲只抓取與主題相關(guān)的網(wǎng)頁，忽略掉與主題無關(guān)的網(wǎng)頁，這樣減少了大量的時間在爬行無關(guān)網(wǎng)頁上。并且主題爬行蟲具有爬行時間少，存儲空間小，以及能夠更好的滿足用戶的個性化需求等優(yōu)勢，這也同時促進(jìn)了主題爬行蟲的發(fā)展。
　　 對于各種傳統(tǒng)的主題爬行蟲，它們在爬行過程中至始至終都是相互獨立

2、工作的，多個爬行蟲之間沒有交流與協(xié)作，使得這些爬行蟲在爬行的過程中不能及時的進(jìn)行交流來實現(xiàn)信息共享，出現(xiàn)爬行區(qū)域重合和爬行效率不高的狀態(tài)。將多Agent的理論用于主題爬行蟲之間的通信和協(xié)作，為提高主題爬行蟲爬行網(wǎng)頁的準(zhǔn)確率和爬行效率提供了新的方向。本文將每一個主題爬行蟲看做一個Agent，使得主題爬行蟲具有自主、靈活、交互等特性，并且采用多Agent的知識來實現(xiàn)多個主題爬行蟲在網(wǎng)頁爬行過程中的協(xié)作，從而提高爬行蟲的爬行精度和爬行效率。<

3、br>　　 論文的主要研究內(nèi)容包括以下幾點：
　　 1.本文提出了一種招標(biāo)能力值的度量方法。該招標(biāo)能力度量方法用于評價一個Agent是否具有招標(biāo)能力，從而決定該Agent是否要發(fā)布招標(biāo)信息。這個能力函數(shù)不僅考慮了爬行蟲的爬行歷史網(wǎng)頁的重要度，而且考慮了已爬行網(wǎng)頁的鏈接分值。實驗證明該能力函數(shù)能更準(zhǔn)確地評價Agent的招標(biāo)能力。
　　 2.本文提出了一種新的多Agent的主題爬行蟲組織結(jié)構(gòu)。在這個組織結(jié)構(gòu)中，所有Agen

4、t被分成三類：F-Agent(Facilitator-Agent)，As-Agent(Assistance-Agent)，和C-Agent(Crawler-gent)，他們各盡其責(zé)并且相互協(xié)作共同完成網(wǎng)頁爬行任務(wù)。
　　 3.本文提出了多Agent主題爬行蟲的協(xié)作模型。一種改進(jìn)的合同網(wǎng)協(xié)議被用來實現(xiàn)多Agent主題爬行蟲之間的協(xié)作，并且詳細(xì)論述了改進(jìn)的合同網(wǎng)協(xié)議中的招標(biāo)、投標(biāo)、合同簽訂、合同終止四個過程。針對該協(xié)作模型，本文提出