網頁信息智能采集與分類的研究與實現.pdf

1、隨著科學技術的飛速發(fā)展，我們已經進入了數字信息化時代。Internet作為當今世界上最大的信息庫，也成為人們獲取信息的最主要手段。由于網絡上的信息資源有著海量、動態(tài)、異構、半結構化等特點，且缺乏統(tǒng)一的組織和管理，所以如何快速、準確地從海量的信息資源中尋找到自己所需的信息己經成為網絡用戶需要迫切解決的一大難題。因而基于Web的網絡信息的采集與分類便成為人們研究的熱點。
　　傳統(tǒng)的Web信息采集的目標就是盡可能多地采集信息頁面，甚至是

2、整個Web上的資源，在這一過程中它并不太在意采集的順序和被采集頁面的相關主題。這就使得所采集頁面的內容過于雜亂，大大消耗了系統(tǒng)資源和網絡資源。這就需要采用有效的采集方法以減少采集網頁的雜亂和重復等情況的發(fā)生。如何在較大程度上解決信息雜亂無章的現象，并方便用戶準確地定位所需要的信息，僅靠人工的方式來分類是不切實際的。因此，網頁自動分類是組織和管理信息的有效手段。這也是本文研究的一個重要內容。
　　本文首先介紹了課題背景、研究意義和國

3、內外的研究現狀，闡述了網頁采集和網頁分類的相關理論、主要技術和算法，包括網頁爬蟲技術、網頁去重技術、中文分詞技術、特征提取技術、網頁分類技術等。在此基礎上，設計了網頁信息智能采集與分類系統(tǒng)，本系統(tǒng)主要包括信息采集和信息分類兩部分。信息采集部分，主要采用了基于主題的廣度優(yōu)先策略算法的網絡爬蟲和基于規(guī)則模板的網頁信息抽取方法，把自由或者半結構化的數據轉換成結構化的數據，同時采用基于數據庫的信息排重和發(fā)布排重方法對信息進行排重。信息分類部分，