基于詞條分布的特征選擇算法在文本分類中的研究與應(yīng)用.pdf

1、近年來(lái)，在互聯(lián)網(wǎng)的高速發(fā)展下，電子文本的數(shù)量迅速增長(zhǎng)，這使得人們很難準(zhǔn)確、快速地從浩瀚的數(shù)據(jù)中找到真正需要的信息。因此，如何有效地組織和管理這些信息已經(jīng)成為了一項(xiàng)十分有意義的研究課題。文本分類就是解決這一問(wèn)題的關(guān)鍵技術(shù)，通過(guò)該技術(shù)可以幫助人們高效、準(zhǔn)確地定位所需要的文本信息。
　　論文詳細(xì)介紹了文本分類的基本流程，主要包括文本預(yù)處理、文本表示、特征選擇、特征加權(quán)和分類算法。在此基礎(chǔ)上，作者對(duì)特征選擇進(jìn)行了深入地研究，并提出了兩個(gè)新

2、的特征選擇算法。
　　（1）提出了一個(gè)基于詞頻的特征選擇算法。通過(guò)對(duì)IG、DF和MI等已有的特征選擇算法進(jìn)行分析、研究，我們發(fā)現(xiàn)，在特征選擇時(shí)，這些算法都充分考慮了文檔頻率這個(gè)影響因素。但是，在分類過(guò)程中，詞頻對(duì)特征選擇的影響也很大。然而，目前單純地只從詞頻的角度來(lái)進(jìn)行特征選擇的算法還并不多。因此，作者提出了一種基于詞頻的特征選擇算法-FSATF算法，該算法充分考慮了詞頻、詞條的類內(nèi)分布以及詞條的類間分布。實(shí)驗(yàn)證明，F(xiàn)SATF算法

3、具有較好的分類性能，是一種有效的特征選擇算法。
　　（2）提出了一個(gè)基于詞條相對(duì)貢獻(xiàn)率的特征選擇算法。考慮到DF、IG、t-Test等算法在進(jìn)行特征選擇時(shí)傾向于高頻詞匯，并取得了較好的實(shí)驗(yàn)效果；CTD和SCIW算法在進(jìn)行特征選擇時(shí)利用了類別信息，其實(shí)驗(yàn)準(zhǔn)確率也較好。容易發(fā)現(xiàn)：高頻詞和詞條的類別信息對(duì)分類效果有著重要的影響。因此，作者提出了一種基于詞條相對(duì)貢獻(xiàn)率的特征選擇算法-RCT算法，該算法充分考慮了詞條的詞頻因素以及詞條對(duì)類別