面向不均衡數(shù)據(jù)的文本分類系統(tǒng)研究與實現(xiàn).pdf

1、隨著計算機網(wǎng)絡技術的飛速發(fā)展，網(wǎng)絡中各種電子形式的文本以指數(shù)級的速度增長，然而不同主題類別之間文檔數(shù)量往往會出現(xiàn)指數(shù)級的差異。面對數(shù)據(jù)不均衡問題，傳統(tǒng)文本分類往往會出現(xiàn)類別傾向性的問題，然而用戶往往對少數(shù)類的分類效果關注度更高。特征選擇作為文本分類的重要環(huán)節(jié)，如何在不均衡數(shù)據(jù)集下選擇高類別價值的特征項，從而保證分類效果的前提下，提高少數(shù)類別的分類精度，是當前研究的難點和熱點。
　　面對文本分類中數(shù)據(jù)集不均衡問題，本文主要對特征選擇

2、進行了一定的研究，特別是分析了卡方統(tǒng)計算法的不足，并在卡方統(tǒng)計算法的基礎上提出了一種面向不均衡數(shù)據(jù)的概率方差 CHI特征選擇算法。改進的內(nèi)容如下：
　　1)引入頻繁因子。高類別價值的特征項應該是經(jīng)常出現(xiàn)的，由于卡方統(tǒng)計算法只考慮了文檔頻信息，忽略了詞頻信息，存在低頻詞傾向的問題。本文以詞頻概率度量特征項在不均衡數(shù)據(jù)集下的頻繁程度，克服了低頻詞傾向和類別文檔差異的問題。
　　2)引入類間集中因子。一個高類別價值的特征項應該集中

3、出現(xiàn)在指定類中，然而卡方統(tǒng)計忽略了特征項在類間的分布信息。本文以文檔概率為基礎，計算類間文檔樣本方差，度量特征項在不均衡數(shù)據(jù)集下的類間集中程度，克服了類間分布信息缺失和類別文檔差異的問題。
　　3)引入類內(nèi)均勻因子。一個高類別價值的特征項應該均勻的分布在指定類各個文檔中，然而卡方統(tǒng)計忽略了特征項的類內(nèi)分布信息。本文以詞頻為基礎，計算類內(nèi)特征項樣本方差，度量特征項在類內(nèi)的均勻程度，克服了類內(nèi)分布信息缺失的問題。
　　本文文本分