基于支持向量機的中文文本分類系統(tǒng)研究.pdf

1、在信息技術(shù)日新月異的今天，多數(shù)人在日常工作學(xué)習(xí)中都會接觸到大量的中文信息，尤其是在互聯(lián)網(wǎng)上，存在的中文網(wǎng)頁更是數(shù)以萬計。如何利用計算機技術(shù)快速有效的獲取相關(guān)信息已經(jīng)成為目前中文信息處理領(lǐng)域一個研究熱點。中文文本分類是中文信息處理的重要組成部分，對中文信息數(shù)字化的實現(xiàn)和推廣有重要意義，在文本識別、電子政務(wù)、搜索引擎、信息過濾等領(lǐng)域有著廣泛和深入的應(yīng)用。 支持向量機是一種建立在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)之上的模式識別方法，由Boser、Guy

2、on、Vapnik等人在COLT(ComputationalLearningTheory)-92上首次提出，在文本分類、圖像識別、生物信息處理等領(lǐng)域都取得了成功的應(yīng)用。相比較傳統(tǒng)的分類方法，支持向量機在求解小樣本、非線性、高維空間等問題上表現(xiàn)出了較好的性能。支持向量機根據(jù)結(jié)構(gòu)風(fēng)險最小化原則，具有全局最優(yōu)解，同時提高了分類器的泛化能力。利用支持向量機得到的分類器具有很好的推廣能力，即使訓(xùn)練樣本很少，分類系統(tǒng)也可以達到很高的準(zhǔn)確率。

3、 本文首先對中文文本分詞進行了介紹，在常用分詞算法的基礎(chǔ)之上設(shè)計了一種雙向匹配分詞算法，有效的減少了歧義詞對正確分詞的影響。特征選擇是文本分類的重要環(huán)節(jié)，本文對分類問題中的若干傳統(tǒng)特征選擇評估算法進行了分析，對其中的互信息和X2等評估算法提出了改進策略。分類器設(shè)計是文本分類系統(tǒng)的核心部分，本文討論了目前主流的分類器設(shè)計方法，重點對支持向量機方法進行了研究，詳細闡述了線性可分、線性不可分、非線性等支持向量機方法的原理，比較了采用不同核函數(shù)

4、的支持向量機分類器的分類效果。通過對一般分類器訓(xùn)練學(xué)習(xí)過程的分析，本文探討了訓(xùn)練集選取對分類效果的影響，提出了動態(tài)訓(xùn)練集的文本分類算法，加強了訓(xùn)練集對分類器訓(xùn)練學(xué)習(xí)過程中所起的作用。 最后，結(jié)合文本分類過程和支持向量機方法，設(shè)計并實現(xiàn)了一個基于支持向量機的中文文本分類系統(tǒng)。該系統(tǒng)分類效果的評價采用分類問題研究領(lǐng)域普遍采用的查準(zhǔn)率、查全率和F測度值等指標(biāo)。實驗結(jié)果表明，該系統(tǒng)的這些評判指標(biāo)總體上的平均值都很高，具有較好的分類效果。