主題網(wǎng)絡(luò)爬蟲(chóng)的研究與設(shè)計(jì).pdf

1、隨著網(wǎng)絡(luò)資源的急劇增長(zhǎng)，在龐大的網(wǎng)絡(luò)上，快、準(zhǔn)、全地找到相關(guān)信息，變得越來(lái)越困難。此時(shí)，搜索引擎應(yīng)運(yùn)而生。搜索引擎是人們從網(wǎng)上查找信息最方便快捷的方式，也因此超過(guò)E-mail等常見(jiàn)web服務(wù)，成為用戶使用量最多的服務(wù)。通用搜素引擎，面向所有的web信息檢索者，由于龐大的網(wǎng)絡(luò)信息規(guī)模和高速響應(yīng)要求，使其檢索結(jié)果的相關(guān)性不盡人意。主題搜索引擎，是為進(jìn)一步提高相關(guān)性而發(fā)展起來(lái)的新一代搜索引擎。本文的研究對(duì)象是主題搜索引擎中的主題爬蟲(chóng)。首先概述

2、了搜索引擎的發(fā)展概況和網(wǎng)絡(luò)爬蟲(chóng)研究現(xiàn)狀，分析了集中式主題網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)，將其分成5個(gè)組成部分：數(shù)據(jù)存儲(chǔ)、下載模塊、網(wǎng)頁(yè)預(yù)處理、網(wǎng)頁(yè)分類(lèi)和鏈接分析，并闡述了各部分的功能。具體工作如下： (1)在搜索策略中，結(jié)合內(nèi)容分析和鏈接分析，利用URL字符串、錨文本、父頁(yè)面和兄弟頁(yè)面等啟發(fā)信息，設(shè)計(jì)出一種鏈接評(píng)分方法。 (2)網(wǎng)頁(yè)預(yù)處理過(guò)程，包括分詞、HTML解釋和網(wǎng)頁(yè)消噪。在對(duì)樹(shù)節(jié)點(diǎn)進(jìn)行裁剪的基礎(chǔ)上，設(shè)計(jì)了基于樣式的網(wǎng)頁(yè)消噪方法