基于網(wǎng)站目錄及鏈接關(guān)系的Spider爬行策略的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)（Internet）近幾年來(lái)的飛速發(fā)展，互聯(lián)網(wǎng)上提供的信息也呈現(xiàn)爆炸式的增長(zhǎng)態(tài)勢(shì)，面對(duì)Web信息以幾何級(jí)數(shù)不斷增長(zhǎng)的情況，如何能夠快速獲取對(duì)用戶更有價(jià)值的、更有質(zhì)量的信息便成為了研究的熱點(diǎn)之一。網(wǎng)絡(luò)機(jī)器人Spider是整個(gè)搜索引擎系統(tǒng)的重要組成部分，它是搜索引擎的數(shù)據(jù)來(lái)源，Spider的效率決定著整個(gè)搜索引擎系統(tǒng)的內(nèi)容質(zhì)量的高低、信息能否及時(shí)的更新。 本文首先從搜索引擎的發(fā)展和種類出發(fā)，研究了搜索引擎的基本組成工作原理

2、和網(wǎng)絡(luò)機(jī)器人的組成體系結(jié)構(gòu)，重點(diǎn)分析了基于網(wǎng)頁(yè)質(zhì)量研究的網(wǎng)絡(luò)機(jī)器人的爬行策略。通過對(duì)Web結(jié)構(gòu)上的挖掘分析，結(jié)合對(duì)鏈接種類的分析，設(shè)計(jì)了一種新的針對(duì)高質(zhì)量網(wǎng)頁(yè)及潛在的高質(zhì)量網(wǎng)頁(yè)為爬行目標(biāo)的網(wǎng)絡(luò)機(jī)器人爬行策略。本文的主要研究?jī)?nèi)容主要包括以下幾個(gè)方面： 1．通過對(duì)一般網(wǎng)絡(luò)機(jī)器人的體系結(jié)構(gòu)的分析，以及對(duì)Jeff Heaton Spider開源爬蟲的研究，提出了本文所設(shè)計(jì)的網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)。 2．對(duì)基于網(wǎng)頁(yè)質(zhì)量?jī)?yōu)先爬行的幾種網(wǎng)