深度web采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展以及互聯(lián)網(wǎng)內(nèi)容的爆炸式增長(zhǎng)，人們開(kāi)始關(guān)注這些海量信息背后隱藏的內(nèi)容，也就是對(duì)web信息的數(shù)據(jù)挖掘，作為數(shù)據(jù)挖掘的基礎(chǔ)----數(shù)據(jù)采集，則直接決定了數(shù)據(jù)挖掘的質(zhì)量。然而，已有的信息采集系統(tǒng)，在某些方面還不夠完善，如對(duì)使用 AJAX技術(shù)的動(dòng)態(tài)頁(yè)面支持較差，以及沒(méi)有有效應(yīng)對(duì)服務(wù)器的反抓取措施等。
　　本文提出一種使用 JAVA語(yǔ)言開(kāi)發(fā)的深度 web信息采集方案，該方案包括采集策略配置、一般/深度采集、自動(dòng)代理技術(shù)，以

2、及采集內(nèi)容的索引和后續(xù)處理等一系列技術(shù)，初步實(shí)現(xiàn)了一個(gè)簡(jiǎn)要的深度 web信息采集系統(tǒng)；并以百度搜索、網(wǎng)易新聞（包括評(píng)論）、京東商城作為測(cè)試網(wǎng)站，完成了該系統(tǒng)測(cè)試工作。
　　本系統(tǒng)基于現(xiàn)有的 web信息采集技術(shù)，首先將深度采集所涉及的各種策略和行為整合為對(duì)應(yīng)的網(wǎng)絡(luò)模板，再基于開(kāi)源的HtmlUnit模塊實(shí)現(xiàn)相關(guān)行為，完成深度采集，最終將得到的數(shù)據(jù)進(jìn)行字段提取、構(gòu)建索引并寫(xiě)入數(shù)據(jù)庫(kù)，完成整個(gè)采集過(guò)程。同時(shí)，系統(tǒng)提供了友好的用戶界面，方便

3、用戶創(chuàng)建、管理采集任務(wù)，以及實(shí)現(xiàn)對(duì)已采集內(nèi)容的檢索。
　　在介紹深度web信息采集系統(tǒng)設(shè)計(jì)的基礎(chǔ)上，本文詳細(xì)闡述了網(wǎng)站模板編輯/管理模塊、一般頁(yè)面下載模塊、深度頁(yè)面采集模塊、網(wǎng)頁(yè)去重模塊、自動(dòng)代理模塊、網(wǎng)頁(yè)索引模塊以及字段抽取模塊的設(shè)計(jì)和實(shí)現(xiàn)。由于本系統(tǒng)使用Java語(yǔ)言開(kāi)發(fā)，在保證界面友好的前提下，整個(gè)系統(tǒng)具有良好的跨平臺(tái)性，既可以在Windows下運(yùn)行，也可以在Linux下運(yùn)行。
　　該系統(tǒng)將輕量級(jí)無(wú)界面web測(cè)試引擎Ht