中文網(wǎng)頁(yè)自動(dòng)采集與分類系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，我們已經(jīng)進(jìn)入了數(shù)字信息化時(shí)代。Internet作為當(dāng)今世界上最大的信息庫(kù)，也成為人們獲取信息的最主要手段。由于網(wǎng)絡(luò)上的信息資源有著海量、動(dòng)態(tài)、異構(gòu)、半結(jié)構(gòu)化等特點(diǎn)，且缺乏統(tǒng)一的組織和管理，所以如何快速、準(zhǔn)確地從海量的信息資源中尋找到自己所需的信息已經(jīng)成為網(wǎng)絡(luò)用戶需要迫切解決的一大難題。因而基于Web的網(wǎng)絡(luò)信息的采集與分類便成為人們研究的熱點(diǎn)。
　　 傳統(tǒng)的Web信息采集的目標(biāo)就是盡可能多地采集信息頁(yè)面，甚

2、至是整個(gè)Web上的資源，在這一過程中它并不太在意采集的順序和被采集頁(yè)面的相關(guān)主題。這就使得所采集頁(yè)面的內(nèi)容過于雜亂，其中有相當(dāng)大的一部分利用率很低，大大消耗了系統(tǒng)資源和網(wǎng)絡(luò)資源。這就需要采用有效的采集方法以減少采集網(wǎng)頁(yè)的雜亂、重復(fù)等情況的發(fā)生。同時(shí)如何有效地對(duì)采集到的網(wǎng)頁(yè)實(shí)現(xiàn)自動(dòng)分類，以創(chuàng)建更為有效、快捷的搜索引擎也是非常必要的。網(wǎng)頁(yè)分類是組織和管理信息的有效手段，它可以在較大程度上解決信息雜亂無章的現(xiàn)象，并方便用戶準(zhǔn)確地定位所需要的信

3、息。傳統(tǒng)的操作模式是對(duì)其人工分類后進(jìn)行組織和管理。隨著Internet上各種信息的迅猛增加，僅靠人工的方式來處理是不切實(shí)際的。因此，網(wǎng)頁(yè)自動(dòng)分類是一項(xiàng)具有較大實(shí)用價(jià)值的方法，也是組織和管理數(shù)據(jù)的有效手段。這也是本文研究的一個(gè)重要內(nèi)容。
　　 本文首先介紹了課題背景、研究目的和國(guó)內(nèi)外的研究現(xiàn)狀，闡述了網(wǎng)頁(yè)采集和網(wǎng)頁(yè)分類的相關(guān)理論、主要技術(shù)和算法，包括網(wǎng)頁(yè)爬蟲技術(shù)、網(wǎng)頁(yè)去重技術(shù)、信息抽取技術(shù)、中文分詞技術(shù)、特征提取技術(shù)、網(wǎng)頁(yè)分類技術(shù)