基于不均衡數(shù)據(jù)集的文本分類算法研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，電子文檔逐漸成為人們獲取文本信息的主要渠道。網(wǎng)絡(luò)信息的多樣性和文檔的雜亂無章性對用戶快速準(zhǔn)確獲取所需信息提出了巨大的挑戰(zhàn)。文本分類是信息檢索中對文檔進(jìn)行組織和整理的重要技術(shù)，然而不同于文本分類系統(tǒng)在實(shí)驗(yàn)室中處理的文本集合，在實(shí)際應(yīng)用中尤其是出現(xiàn)在網(wǎng)絡(luò)中的文本數(shù)據(jù)集合往往存在標(biāo)注不全，數(shù)據(jù)集不平衡等問題。數(shù)據(jù)不均衡問題由于其在各領(lǐng)域應(yīng)用的廣泛性和重要性成為文本分類目前面臨的一個主要問題，同時也是文本挖掘領(lǐng)域的

2、研究熱點(diǎn)。
　　本文對不均衡數(shù)據(jù)集下的文本分類進(jìn)行了一定的研究，從文本分類的特征選擇方法和對量化后的文本數(shù)據(jù)層上的重取樣兩個角度出發(fā)提出了一種組合的針對不均衡數(shù)據(jù)集的文本分類方法。本文的主要研究內(nèi)容如下：
　?、賹ξ谋痉诸愔械膫鹘y(tǒng) CHI統(tǒng)計(jì)特征選擇方法和對改進(jìn)的僅保留類別正相關(guān)性特征的CHI統(tǒng)計(jì)特征選擇算法進(jìn)行了研究，并在不均衡數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明在均衡數(shù)據(jù)集上表現(xiàn)良好的CHI統(tǒng)計(jì)特征選擇方法所得到的分類效果并

3、不理想。
　　②通過對不均衡數(shù)據(jù)集的研究分析，提出了對僅保留類別正相關(guān)性特征的單邊CHI統(tǒng)計(jì)特征選擇方法進(jìn)行改進(jìn)，首先引入一個小類加權(quán)因子用于保留部分對小類分類有貢獻(xiàn)的表現(xiàn)為類別負(fù)相關(guān)性的特征詞項(xiàng)，同時使用ICF(逆轉(zhuǎn)類別頻)增強(qiáng)特征選擇過程中特征的類別區(qū)分能力，進(jìn)而選擇出最具類別代表性的特征詞。使用特征集合將文檔進(jìn)行量化表示為向量空間模型。
　　③為更好地解決由數(shù)據(jù)不均衡導(dǎo)致分類效果不佳的問題，本文提出對量化后的文本集合在