網(wǎng)頁信息智能采集與分類的研究與實現(xiàn).pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，我們已經(jīng)進入了數(shù)字信息化時代。Internet作為當今世界上最大的信息庫，也成為人們獲取信息的最主要手段。由于網(wǎng)絡(luò)上的信息資源有著海量、動態(tài)、異構(gòu)、半結(jié)構(gòu)化等特點，且缺乏統(tǒng)一的組織和管理，所以如何快速、準確地從海量的信息資源中尋找到自己所需的信息己經(jīng)成為網(wǎng)絡(luò)用戶需要迫切解決的一大難題。因而基于Web的網(wǎng)絡(luò)信息的采集與分類便成為人們研究的熱點。
　　傳統(tǒng)的Web信息采集的目標就是盡可能多地采集信息頁面，甚至是

2、整個Web上的資源，在這一過程中它并不太在意采集的順序和被采集頁面的相關(guān)主題。這就使得所采集頁面的內(nèi)容過于雜亂，大大消耗了系統(tǒng)資源和網(wǎng)絡(luò)資源。這就需要采用有效的采集方法以減少采集網(wǎng)頁的雜亂和重復(fù)等情況的發(fā)生。如何在較大程度上解決信息雜亂無章的現(xiàn)象，并方便用戶準確地定位所需要的信息，僅靠人工的方式來分類是不切實際的。因此，網(wǎng)頁自動分類是組織和管理信息的有效手段。這也是本文研究的一個重要內(nèi)容。
　　本文首先介紹了課題背景、研究意義和國

3、內(nèi)外的研究現(xiàn)狀，闡述了網(wǎng)頁采集和網(wǎng)頁分類的相關(guān)理論、主要技術(shù)和算法，包括網(wǎng)頁爬蟲技術(shù)、網(wǎng)頁去重技術(shù)、中文分詞技術(shù)、特征提取技術(shù)、網(wǎng)頁分類技術(shù)等。在此基礎(chǔ)上，設(shè)計了網(wǎng)頁信息智能采集與分類系統(tǒng)，本系統(tǒng)主要包括信息采集和信息分類兩部分。信息采集部分，主要采用了基于主題的廣度優(yōu)先策略算法的網(wǎng)絡(luò)爬蟲和基于規(guī)則模板的網(wǎng)頁信息抽取方法，把自由或者半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)，同時采用基于數(shù)據(jù)庫的信息排重和發(fā)布排重方法對信息進行排重。信息分類部分，