聚焦爬蟲技術(shù)研究.pdf

1、萬維網(wǎng)信息的爆炸式增長使Web已經(jīng)成為世界上最大的信息庫。面對這個海量、異構(gòu)、半結(jié)構(gòu)化的信息庫，Web用戶經(jīng)常發(fā)現(xiàn)要查找到所需要的信息需要耗費大量的時間，造成了“信息過載，知識匱乏”的問題。為了解決這個問題，在Web信息檢索領(lǐng)域提出了面向主題的聚焦爬蟲技術(shù)。聚焦爬蟲根據(jù)用戶定義的目標(biāo)主題，智能化的從Web上收集主題相關(guān)的網(wǎng)頁集合，然后采用機器學(xué)習(xí)或信息檢索的方法對收集到的信息進(jìn)行智能處理和分析，最后以方便、有效的檢索方式滿足用戶的信息檢

2、索需求。它的理論和技術(shù)基礎(chǔ)主要包括機器學(xué)習(xí)、信息檢索、概率統(tǒng)計理論和Web新技術(shù)。在很多應(yīng)用領(lǐng)域，如基于Web的行業(yè)分析、自動構(gòu)建專題數(shù)字圖書館等，主題驅(qū)動的聚焦爬蟲系統(tǒng)都富有應(yīng)用前景。 首先研究了搜索引擎和爬蟲的技術(shù)原理，工作流程以及典型的聚焦爬蟲體系結(jié)構(gòu)，然后重點分析了聚焦爬蟲的主題定義，網(wǎng)頁的鏈接分析算法和內(nèi)容分析算法，主題爬行策略，以及存在的主要問題。 根據(jù)HITS算法善于發(fā)現(xiàn)主題社區(qū)，但是容易發(fā)生主題漂移；最佳

3、優(yōu)先算法由于忽視超鏈接信息容易陷入局部最佳子空間的問題，提出了新的主題綜合爬行策略。該策略綜合利用超鏈接價值和內(nèi)容主題相關(guān)性價值計算網(wǎng)頁的綜合價值并排序。通過利用主題頁面分布特性，采用HITS算法計算網(wǎng)頁的超鏈接價值，發(fā)現(xiàn)并抓取主題社區(qū)及主題相關(guān)網(wǎng)頁，并通過基于向量空間模型的網(wǎng)頁主題相關(guān)度判定算法精確地量化了網(wǎng)頁與主題的相關(guān)程度，避免爬行過程中容易出現(xiàn)的主題漂移問題，提高了爬蟲系統(tǒng)的收獲率。針對聚焦爬蟲對目標(biāo)主題的定義，采用文本分類方法