基于增量學(xué)習(xí)的主題爬行策略研究.pdf

1、自Internet誕生，搜索引擎逐漸成為人們獲取信息的主要方式。然而，隨著互聯(lián)網(wǎng)的高速發(fā)展和網(wǎng)絡(luò)用戶需求的不斷提高，傳統(tǒng)搜索引擎如Alta Visa、Google、Yahoo等越來越呈現(xiàn)出一些局限性，而主題搜索成為解決通用搜索引擎問題的一個(gè)最為關(guān)鍵的研究熱點(diǎn)。在主題搜索中，主題爬蟲在Web上抓取與用戶主題興趣相關(guān)的網(wǎng)頁，它的優(yōu)點(diǎn)是盡量檢索與主題相關(guān)的網(wǎng)頁，同時(shí)盡可能少的遍歷與主題不相關(guān)的網(wǎng)頁，可以有效減小搜集的范圍，提高資源的利用率。<

2、br>　　 考慮到實(shí)際互聯(lián)網(wǎng)上Web網(wǎng)頁是不斷更新變化的。在一段時(shí)間內(nèi)，有的網(wǎng)頁出現(xiàn)，有的網(wǎng)頁消失。作者通過深入研究主題搜索的原理及特點(diǎn)，并結(jié)合實(shí)際web網(wǎng)頁更新變化，利用形式概念分析理論知識(shí)，將增量構(gòu)建概念格的思想應(yīng)用到主題搜索中，使主題爬蟲具備一定的學(xué)習(xí)能力，提出基于增量學(xué)習(xí)的主題爬行策略。
　　 本文主要研究?jī)?nèi)容如下：
　　 1、把增量學(xué)習(xí)的思想應(yīng)用到主題爬行中。鑒于形式概念分析在主題搜索中的可行性，把從概念格轉(zhuǎn)

3、換來的背景圖作為主體爬蟲的知識(shí)背景來指導(dǎo)爬行是一個(gè)很好的創(chuàng)新。根據(jù)主題爬蟲的搜索結(jié)果進(jìn)行增量學(xué)習(xí)，即通過增加主題的網(wǎng)頁和刪除主題不相關(guān)網(wǎng)頁兩方面進(jìn)行學(xué)習(xí)來更新背景圖，以便及時(shí)地反映Web網(wǎng)頁的變化情況。
　　 2、增加主題網(wǎng)頁相關(guān)的概念來更新概念背景圖。根據(jù)主題爬蟲的搜索結(jié)果，選取主題相關(guān)網(wǎng)頁，利用增量概念生產(chǎn)算法得到該主題相關(guān)網(wǎng)頁的增量概念，把得到增量概念增加到背景圖中。
　　 3、刪除主題不相關(guān)網(wǎng)頁的概念來更新概念背