Web中文文本分類技術研究與實現.pdf

1、在信息化的大背景下，Web的飛速發(fā)展及互聯網的普及給我們的工作和生活帶來了極大的便捷，網絡成為人們獲取信息的重要來源。不過由于異構與開放的Internet網絡，大量垃圾信息充斥其中，對待無盡的網絡信息，怎樣有效的管理，如何快速、準確地發(fā)現潛在有用的知識成為當前的研究熱點。有效應對繁雜網頁內容的一個重要方法就是將其分類，而目前文本仍然是網頁的主要呈現形式，因此文本分類是解決該問題的核心，同時它也是有關搜索引擎，信息的檢索與過濾的基礎技術，

2、廣泛的適用性決定了對它研究的現實意義。Web中文文本分類是互聯網技術與傳統文本分類技術相結合的產物，簡單概述，它是利用已知類別Web中文文檔學習出一個分類模型，繼而確定未知文檔類別的技術，整個過程包括預處理Web中文文本、選取特征詞集、文本表示、計算詞權值、樣本分類等步驟。
　　首先本論文在闡明Web中文分類關鍵技術的基礎上，總結了研究的背景及現狀，分析了研究的流程思路，做了很多理論和實現上的研究。理論方面，在綜合分析總結了已有方

3、法的不足之后，對分類過程中的一些環(huán)節(jié)進行了改進。針對Web下的特殊使用環(huán)境，提出了在特征選擇之前，不同位置的文本，分區(qū)域、分步驟并賦予不同權重處理的思路；對于卡方統計只顧文檔頻率而沒考慮詞頻，本類出現少而非本類中普遍存在時極有可能被選為特征詞以及自身公式中均勻分布糾正懲罰能力不夠等情況，提出了詞頻補償因子、類別比重因子、類內分布因子的概念，將它們乘在傳統方法的公式后面作為補償來對原方法加以改進，取得了良好的效果；在分類算法方面，重點研究

4、了KNN算法，在深入分析其原理后總結出了優(yōu)缺點。針對KNN算法采用內積公式計算文本相似度比較粗糙的情況（文中已舉例說明），給出了一種利用相似接近系數進行完善的方法。通過設計相關試驗證明，以上改進后的措施在準確率、召回率、F1值等方面都有不同程度的提高。實現方面，本文設計了用于Web中文文本分類試驗的小工具軟件，包括用于建立樣本庫的Web網頁采集模塊，用于處理文本和分類過程的分類模塊，用于評估對比最終結果的評估模塊。并提供了設計的主要方案