主題爬蟲關(guān)鍵技術(shù)研究及應(yīng)用.pdf

1、近年來(lái)，隨著web信息資源的快速增長(zhǎng)，通用搜索引擎存在無(wú)法檢索所有頁(yè)面的問(wèn)題，也不能滿足人們?nèi)找嬖鲩L(zhǎng)的個(gè)性化服務(wù)需要，因此各類適應(yīng)特定人群需要的主題搜索引擎應(yīng)運(yùn)而生。為保證主題搜索引擎返回信息的準(zhǔn)確性，開展對(duì)承擔(dān)主題相關(guān)信息采集任務(wù)的主題爬蟲系統(tǒng)研究具有重要意義。
　　 主題爬蟲的基本工作原理是按照預(yù)先確定的主題，分析超鏈接和所抓取的網(wǎng)頁(yè)內(nèi)容，獲取下一個(gè)要爬行的URL，盡可能保證多爬行與主題相關(guān)的網(wǎng)頁(yè)。在主題爬蟲系統(tǒng)研究中，主要

2、涉及主題基準(zhǔn)模型、網(wǎng)頁(yè)分析方法和網(wǎng)頁(yè)搜索策略等方面的內(nèi)容。主題基準(zhǔn)模型是爬蟲判別所抓取網(wǎng)頁(yè)主題是否相關(guān)的依據(jù)，其研究重點(diǎn)是如何建立合適的主題基準(zhǔn)模型以及主題基準(zhǔn)模型和待判別網(wǎng)頁(yè)的映射關(guān)系，以提高對(duì)所抓取網(wǎng)頁(yè)的主題性判別；網(wǎng)頁(yè)分析方法主要分析所抓取網(wǎng)頁(yè)的內(nèi)容和超鏈接，研究如何對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行正確提取，以獲取網(wǎng)頁(yè)所表示的主題，避免網(wǎng)頁(yè)主題提取粒度不夠影響對(duì)該網(wǎng)頁(yè)的主題相關(guān)度判別；網(wǎng)頁(yè)搜索策略主要解決待訪問(wèn)URL的次序問(wèn)題，提高主題爬蟲覆蓋度。

3、目前的研究主要集中在通過(guò)預(yù)測(cè)URL的主題相關(guān)來(lái)決定URL訪問(wèn)次序，但這樣又容易使主題爬蟲陷入局部尋優(yōu)的狀態(tài)。
　　 基于上述分析，本文主要從主題基準(zhǔn)模型、網(wǎng)頁(yè)分析方法和網(wǎng)頁(yè)搜索策略三方面展開研究，設(shè)計(jì)和構(gòu)建相應(yīng)的主題爬蟲系統(tǒng)框架，并以信用主題為應(yīng)用，實(shí)現(xiàn)主題爬蟲原型系統(tǒng)，并對(duì)相應(yīng)的實(shí)驗(yàn)結(jié)果進(jìn)行分析比較。本文主要研究工作包括以下幾個(gè)方面：
　　 1.對(duì)主題爬蟲系統(tǒng)的結(jié)構(gòu)開展研究，從提高主題爬蟲抓取質(zhì)量的角度出發(fā)，將主題基準(zhǔn)

4、模型、網(wǎng)頁(yè)分析方法和網(wǎng)頁(yè)搜索策略三個(gè)重要組成部分進(jìn)行分析整合，設(shè)計(jì)了主題爬蟲系統(tǒng)的框架。
　　 2.從主題基準(zhǔn)模型建立方法和待判別網(wǎng)頁(yè)主題抽取上展開研究，通過(guò)統(tǒng)一主題基準(zhǔn)模型和待判別網(wǎng)頁(yè)的主題關(guān)鍵詞的權(quán)重設(shè)置，來(lái)提高爬蟲對(duì)網(wǎng)頁(yè)的主題性判別。
　　 3.針對(duì)常用的基于網(wǎng)頁(yè)結(jié)構(gòu)內(nèi)容塊提取方法中提取正文粒度不夠細(xì)問(wèn)題，本文采用基于Tagwindow標(biāo)簽窗口進(jìn)行網(wǎng)頁(yè)正文提取，以適應(yīng)于正文篇幅長(zhǎng)和正文中鏈接比較少的網(wǎng)頁(yè)類型。