垂直搜索引擎中主題網(wǎng)絡(luò)蜘蛛爬行技術(shù)的研究.pdf

1、隨著Internet的飛速發(fā)展,Web的信息量越來(lái)越大,通用搜索引擎在信息采集、存儲(chǔ)等方面面臨更大的挑戰(zhàn)。此外,由于通用搜索引擎面向所有的用戶,力爭(zhēng)在返回結(jié)果上做到面面俱到,而包羅萬(wàn)象的結(jié)果顯然不能滿足用戶精確搜索的需求,因此,面向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎應(yīng)運(yùn)而生。
　　網(wǎng)絡(luò)蜘蛛是搜索引擎的重要組成部分。通用搜索引擎的網(wǎng)絡(luò)蜘蛛(簡(jiǎn)稱通用網(wǎng)絡(luò)蜘蛛)的目標(biāo)是要發(fā)現(xiàn)和下載盡可能多的網(wǎng)頁(yè),以使搜索引擎能回答更多的用戶查詢。而垂直搜

2、索引擎的網(wǎng)絡(luò)蜘蛛(簡(jiǎn)稱主題網(wǎng)絡(luò)蜘蛛)的目標(biāo)是在盡可能少地遍歷Web的前提下,盡可能多地發(fā)現(xiàn)與主題相關(guān)的網(wǎng)頁(yè)。因此,如何設(shè)計(jì)一個(gè)好的主題網(wǎng)絡(luò)蜘蛛是構(gòu)建垂直搜索引擎的關(guān)鍵。本文主要研究的是面向垂直搜索引擎的主題網(wǎng)絡(luò)蜘蛛爬行技術(shù)。主題網(wǎng)絡(luò)蜘蛛在爬行過(guò)程中要解決以下幾個(gè)關(guān)鍵問(wèn)題:(1)怎樣準(zhǔn)確判斷一個(gè)已經(jīng)爬取的網(wǎng)頁(yè)是否與主題相關(guān);(2)如何決定待爬行URL的訪問(wèn)次序以提高主題網(wǎng)絡(luò)蜘蛛的收獲比;(3)怎樣穿越隧道以提高主題網(wǎng)絡(luò)蜘蛛的召回率。

3、>　　對(duì)于問(wèn)題(1)本文分析了頁(yè)面主題判別中的兩種算法:主題中心向量法和基于文本分類器的頁(yè)面主題判別算法的優(yōu)缺點(diǎn),并采用文本分類器中的樸素貝葉斯分類器作為本文的頁(yè)面主題判別算法;對(duì)于問(wèn)題(2)本文提出了基于分塊提取鏈接上下文的主題預(yù)測(cè)算法,將網(wǎng)頁(yè)分塊技術(shù)應(yīng)用到鏈接上下文提取,這樣提取的鏈接上下文對(duì)于鏈接主題的預(yù)測(cè)具有較高的準(zhǔn)確度;對(duì)于問(wèn)題(3)本文改進(jìn)了隧道技術(shù),提出了基于主題相似度的隧道技術(shù)并設(shè)計(jì)了一種基于主題相似度指導(dǎo)網(wǎng)絡(luò)蜘蛛穿越隧