基于Web平臺(tái)的可定制垂直爬蟲(chóng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，特別是互聯(lián)網(wǎng)應(yīng)用的普及，產(chǎn)生了海量的、豐富的Web信息資源。為了快速獲取到有用信息，基于通用爬蟲(chóng)的搜索引擎成為人們用于信息檢索的必備工具。然而，隨著人們對(duì)信息的多樣化需求，以及數(shù)據(jù)分析系統(tǒng)對(duì)數(shù)據(jù)的內(nèi)容和格式的要求，傳統(tǒng)搜索引擎獲取的信息全而不精的特點(diǎn)，已經(jīng)無(wú)法滿足人們的需要。因此，很多基于不同領(lǐng)域的垂直爬蟲(chóng)應(yīng)運(yùn)而生，以數(shù)據(jù)主題相關(guān)性和結(jié)構(gòu)化程度高的特點(diǎn)，解決了用戶對(duì)特定領(lǐng)域垂直數(shù)據(jù)的抽取問(wèn)題，在電子商務(wù)、房產(chǎn)領(lǐng)

2、域、教育新聞以及專利檢索等領(lǐng)域有所應(yīng)用。
　　但是，目前的垂直爬蟲(chóng)存在的不足是當(dāng)出現(xiàn)一個(gè)新的領(lǐng)域主題，就需要構(gòu)建相應(yīng)的垂直爬蟲(chóng)，來(lái)抽取領(lǐng)域信息，信息聚合能力較低，無(wú)法滿足特殊需要，通用性不強(qiáng)。其次，抽取到的內(nèi)容存儲(chǔ)結(jié)構(gòu)混亂，無(wú)法對(duì)獲取到的信息進(jìn)行有效的管理。另外，對(duì)變動(dòng)的業(yè)務(wù)需求也無(wú)法應(yīng)對(duì)，擴(kuò)展性低，適用范圍很小，造成資源浪費(fèi)。這些問(wèn)題導(dǎo)致了用戶或業(yè)務(wù)系統(tǒng)不能得到充分的、可用于分析的數(shù)據(jù)資源，如實(shí)驗(yàn)研究、輿情分析、商品信息比對(duì)等。

3、因此，通過(guò)實(shí)現(xiàn)垂直爬蟲(chóng)的定制化功能來(lái)解決特定領(lǐng)域的特殊網(wǎng)頁(yè)分析，快速地得到豐富的互聯(lián)網(wǎng)信息資源，提高互聯(lián)網(wǎng)信息聚合能力，使得垂直爬蟲(chóng)系統(tǒng)在數(shù)據(jù)抽取的通用性、靈活性方面的改進(jìn)是本文研究的關(guān)鍵點(diǎn)。
　　因此，本文首先分析了已有的垂直爬蟲(chóng)的架構(gòu)特點(diǎn)，提出了一個(gè)新的架構(gòu)體系，具備分布式、可擴(kuò)展、可定制的特點(diǎn);并基于該框架設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于Web平臺(tái)的可定制垂直爬蟲(chóng)系統(tǒng)CVCrawler(Customized Veritcal Crawle

4、r)。本文的主要工作內(nèi)容如下:
　　1.對(duì)現(xiàn)有的基于通用爬蟲(chóng)的搜索引擎存在的不足進(jìn)行分析，進(jìn)而闡述了垂直爬蟲(chóng)的發(fā)展與研究現(xiàn)狀，針對(duì)用戶多樣性需要，引出可定制垂直爬蟲(chóng)的概念以及相關(guān)知識(shí)和技術(shù)。
　　2.考慮到已有爬蟲(chóng)的擴(kuò)展性和可定制化程度不高的問(wèn)題，本文將爬蟲(chóng)的核心功能獨(dú)立出來(lái)，提出了一個(gè)新的架構(gòu)體系，主要包括頁(yè)面獲取、頁(yè)面解析、URL管理和內(nèi)容存儲(chǔ)這四大部分，并對(duì)這四個(gè)部分的功能需求進(jìn)行了分析。其中，頁(yè)面獲取的改進(jìn)，可以實(shí)現(xiàn)

5、頁(yè)面渲染方式的定制，應(yīng)對(duì)靜態(tài)或動(dòng)態(tài)頁(yè)面;頁(yè)面解析的改進(jìn)，只需要提供特定頁(yè)面的抽取規(guī)則(可自定義的)即可實(shí)現(xiàn)跨主題領(lǐng)域的頁(yè)面數(shù)據(jù)抽取;URL管理的改進(jìn)，可以根據(jù)需要來(lái)定制去重方式和爬取策略;內(nèi)容存儲(chǔ)的改進(jìn)，可以過(guò)濾和轉(zhuǎn)化抽取到原始數(shù)據(jù)，方便保存在文件或關(guān)系型數(shù)據(jù)庫(kù)中，為了便于分析，也可以是Key-Value存儲(chǔ)系統(tǒng)。
　　3.基于爬蟲(chóng)的需求分析，采用Java語(yǔ)言和第三方工具包，詳細(xì)實(shí)現(xiàn)各個(gè)模塊的主要功能。在頁(yè)面獲取模塊，主要基于ht

6、tp協(xié)議的獲取html頁(yè)面，對(duì)于動(dòng)態(tài)頁(yè)面，采用內(nèi)置瀏覽器渲染技術(shù)。在頁(yè)面解析模塊中，主要采用行塊分布函數(shù)、正則表達(dá)式和Xpath等多種方式來(lái)抽取正文內(nèi)容，非常高效靈活，可以應(yīng)對(duì)各種復(fù)雜的html結(jié)構(gòu)。在URL管理中，采用基于廣度優(yōu)先原理的隊(duì)列來(lái)保存和提取URL，采用哈希表和布隆過(guò)濾器來(lái)實(shí)現(xiàn)URL去重。在內(nèi)容存儲(chǔ)模塊，與頁(yè)面抽取分離，將抽取到的內(nèi)容處理成結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，利用JDBC技術(shù)保存在MySQL中。
　　4.在相關(guān)理論研