面向垂直搜索引擎的主題爬蟲方法研究.pdf

1、隨著互聯(lián)網(wǎng)信息的急劇增長，以“廣、泛、深”為特點的通用搜索引擎返回的查詢結(jié)果已經(jīng)不能夠滿足不同領(lǐng)域、不同背景的用戶查詢特定主題信息的需求，因此垂直搜索引擎應(yīng)運而生。
　　作為垂直搜索引擎的核心組成部分——主題爬蟲抓取網(wǎng)頁的方法直接影響了垂直搜索引擎的性能。傳統(tǒng)的主題爬蟲方法多基于特征詞集來描述主題，忽視了特征詞之間的語義關(guān)系，降低了對主題的描述性；網(wǎng)頁分塊只提取了相關(guān)文本塊，而沒有考慮相關(guān)鏈接塊；候選鏈接優(yōu)先級預(yù)測多數(shù)只考慮文字內(nèi)

2、容評價或鏈接結(jié)構(gòu)評價中的一種，對于所有候選鏈接優(yōu)先級要么設(shè)為統(tǒng)一的值，要么分別進(jìn)行相關(guān)性計算，計算量較大；傳統(tǒng)的隧道技術(shù)會導(dǎo)致主題不相關(guān)的網(wǎng)頁數(shù)急劇增長，影響主題爬蟲的準(zhǔn)確率。針對以上不足，提出一種基于主題相關(guān)概念和綜合價值的主題爬蟲方法，主要包括：
　　1)通過ODP的分類樹獲取主題相關(guān)概念集合，然后結(jié)合主題描述文檔建立主題向量來描述主題，考慮了主題概念的相關(guān)概念，增強了主題的描述性。
　　2)利用網(wǎng)頁分塊來過濾噪聲，根據(jù)

3、不同類型的網(wǎng)頁，提取不同的相關(guān)塊文本來計算主題相關(guān)性，很好地解決了由于噪聲信息的影響而導(dǎo)致的網(wǎng)頁主題相關(guān)性計算不準(zhǔn)確。
　　3)用文字內(nèi)容和R-HITS算法相結(jié)合的方法預(yù)測候選鏈接優(yōu)先級。提取網(wǎng)頁分塊后的相關(guān)鏈接塊，將其中的鏈接作為候選鏈接，并將其劃分為高相關(guān)鏈接、低相關(guān)鏈接、普通鏈接三個等級，將高相關(guān)鏈接的優(yōu)先級賦為最大值，直接丟棄低相關(guān)鏈接，對于普通鏈接則用網(wǎng)頁內(nèi)容文本、塊文本、錨文本以及由R-HITS算法計算出的鏈接結(jié)構(gòu)分?jǐn)?shù)

4、四個要素來預(yù)測其優(yōu)先級。
　　4)在隧道技術(shù)的基礎(chǔ)上，將所有主題不相關(guān)的網(wǎng)頁URL插入不相關(guān)URLs隊列，隧道穿越時如果隊列中相同站點的URL個數(shù)超過上限值，則不再將此站點中URL加入到隊列，這樣緩解了主題不相關(guān)網(wǎng)頁急劇增加的問題。
　　最后，將準(zhǔn)確率和信息量總和作為評價指標(biāo)，論證了本文提出的主題爬蟲方法相對于其它方法的優(yōu)勢。實驗結(jié)果表明，本文提出的主題爬蟲方法有更高的準(zhǔn)確率和信息量總和。此方法在垂直搜索引擎的主題網(wǎng)頁采集方