中文文本分類相關(guān)算法的研究與實現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，特別是Internet應用的普及，電子文本信息急劇增加，如何有效地組織和管理這些海量信息，并且能夠快速、準確地獲得用戶所需要的信息是當今信息科學技術(shù)領域的一大挑戰(zhàn)。對電子文本進行有效管理的方法之一就是文本分類。文本分類是一項重要的智能信息處理技術(shù)，在信息過濾、信息檢索、文本數(shù)據(jù)庫和數(shù)字圖書館等方面極具應用價值。 文章從自然語言處理、文本挖掘、機器學習、模式識別等領域討論文本分類的應用。介紹了中文文本分類技

2、術(shù)及相關(guān)算法。設計并實現(xiàn)了一個中文文本分類系統(tǒng)，主要目的是發(fā)現(xiàn)中文文本分類相關(guān)算法的問題及規(guī)律，該系統(tǒng)包括訓練和分類兩大模塊。訓練模塊有：(1)中文文本預處理，實現(xiàn)了一個正向最大匹配分詞算法，并根據(jù)實驗生成了適合分類的停用詞表：(2)特征選擇，實現(xiàn)了信息增益(IG)、互信息(MI)、交叉熵(CE)、X<'2>統(tǒng)計和文檔頻率(DF)五種特征選擇算法；(3)權(quán)重計算，實現(xiàn)了TF、TF*IDF、FF,特征評估函數(shù)值、TF*IDF*特征評估函數(shù)