搜索引擎中網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)快速發(fā)展的背景下,搜索引擎在人們生活工作中有著舉足輕重的作用,而網(wǎng)絡(luò)爬蟲是搜索引擎中的信息采集器,是搜索引擎技術(shù)的最基礎(chǔ)部分。特別是在今天這個(gè)大數(shù)據(jù)的時(shí)代,通過網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上搜集到有價(jià)值的數(shù)據(jù),再進(jìn)行數(shù)據(jù)整理,是一個(gè)快速得到有效信息的重要手段。
　　本文是基于廣度優(yōu)先算法在 Linux平臺(tái)下研究并實(shí)現(xiàn)的多線程網(wǎng)絡(luò)爬蟲程序。爬蟲系統(tǒng)從指定的初始URL開始抓取網(wǎng)頁,進(jìn)行網(wǎng)頁解析,獲取包含在網(wǎng)頁中未被爬取的URL,再對(duì)這些U

2、RL逐條地進(jìn)行爬行,盡可能多的獲取互聯(lián)網(wǎng)海量數(shù)據(jù)。針對(duì)網(wǎng)絡(luò)爬蟲系統(tǒng)中涉及的相關(guān)技術(shù),本文詳細(xì)分析與研究了網(wǎng)頁抓取算法、網(wǎng)頁去重算法,并提出半同步/半異步并發(fā)模型在系統(tǒng)中的應(yīng)用,有效的利用網(wǎng)絡(luò)資源,提高CPU利用率。此外,為了增加爬蟲系統(tǒng)的并發(fā)度,采用基于 Libevent開源事件驅(qū)動(dòng)框架庫的線程池設(shè)計(jì)。最終,通過模塊化程序設(shè)計(jì)思想將爬蟲系統(tǒng)分為請求連接模塊、數(shù)據(jù)分析模塊、URL管理模塊、URL調(diào)度模塊等,本文對(duì)其進(jìn)行一一設(shè)計(jì)與實(shí)現(xiàn),程序