基于位置加權和特征貢獻度的中文文本分類研究.pdf

1、隨著當今網(wǎng)絡信息量的飛速增長，海量的網(wǎng)絡文本數(shù)據(jù)也在呈現(xiàn)指數(shù)級增長，傳統(tǒng)的人工分類方法顯然已經(jīng)不適用，文本分類技術應運而生。文本分類是在指定的分類系統(tǒng)下，依據(jù)待分類文本的特征判定其所屬類別的過程。文本分類技術能快速而準確的幫助人們查找所需的信息，具有很大的應用價值。
　　目前，針對文本分類技術的研究主要集中在以下三方面，文本表示、文本特征選擇以及分類算法的改進。本文對文本分類技術進行了系統(tǒng)的介紹，在分析了各種特征提取技術之后，探索

2、并提出了一種新的特征提取方法。該方法針對中文期刊類文本提出，結合文本結構和類別信息對傳統(tǒng)特征提取算法加以改進，以期取得更好的文本分類效果。
　　本文針對期刊類文本的結構信息探討了特征項的位置加權，對重要位置的特征項賦予較大權值，在一定程度上能夠提升文本分類的準確性。本文對傳統(tǒng)的TF-IDF算法進行了改進，TF-IDF算法是當今特征加權算法中應用較為廣泛和經(jīng)典的算法，但其自身存在一定的缺陷，針對多類文本分類時，TF-IDF算法忽略了

3、文本特征項的類內(nèi)和類間分布狀態(tài)，因此進行特征加權時存在一定的誤差，單純對稀有的特征項賦予較大的權值，對更能區(qū)分文本類別的特征項賦予的權重過小。因此，本文結合了文本特征項的貢獻度對TF-IDF算法進行了改進。
　　本文通過多組對比實驗驗證了改進的特征提取方法在中文文本分類上的有效性。實驗結果通過多重評價指標進行分析，如查全率、查準率和F1值等，實驗結果表明基于位置加權、結合特征貢獻度的TF-IDF算法針對中文期刊類文本的分類結果優(yōu)于