基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速普及發(fā)展，它已經(jīng)逐漸融入人們?nèi)粘Ｉ畹姆椒矫婷妗Ｆ渲蠾eb是人們?cè)诨ヂ?lián)網(wǎng)上互相溝通、獲取外界信息的重要途徑。作為一個(gè)很有價(jià)值的信息來(lái)源，Web憑借其直觀便利的使用方式以及豐富的內(nèi)容表達(dá)能力，可以為用戶提供多種形式的信息，例如文本、音頻、視頻等。隨著時(shí)間的推移，互聯(lián)網(wǎng)的信息規(guī)模及其用戶群體規(guī)模也在快速增長(zhǎng)?；ヂ?lián)網(wǎng)用戶的需求正在變得越發(fā)多樣化，如何為用戶快速地提供其所感興趣的信息是目前的一大難題。
　　如今自媒體已經(jīng)在

2、互聯(lián)上逐漸開始興起，并且其規(guī)模越來(lái)也龐大，其中不乏各行各業(yè)優(yōu)秀代表人物，因而開始受到越來(lái)越多的關(guān)注。因此本文提出運(yùn)用一定的技術(shù)手段實(shí)現(xiàn)對(duì)百度百家這一自媒體平臺(tái)完成采集其站點(diǎn)內(nèi)的文章內(nèi)容。然后對(duì)所采集的文章內(nèi)容進(jìn)行重新組織，以利于對(duì)這些內(nèi)容的二次利用。圍繞這一目標(biāo)，本文提出了基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)的整合方案的設(shè)計(jì)與實(shí)現(xiàn)。
　　本文提出的基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)的整合方案包括信息采集、信息抽取、信息檢索這三部分。其中信息