文本特征選擇算法研究及其在微博上的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的日益普及，互聯(lián)網(wǎng)上的信息量也在逐年激增，而這些信息數(shù)據(jù)基本上都是以文本的形式保存的。在這些龐大的數(shù)據(jù)里面，多是一些復(fù)雜的數(shù)據(jù)，這也間接的導(dǎo)致了數(shù)據(jù)雖然多，但是想要獲取有效的數(shù)據(jù)信息卻比較困難。文本挖掘技術(shù)便應(yīng)運而生，文本分類是其中的一種重要技術(shù)，它可以解決數(shù)據(jù)錯綜復(fù)雜的問題，能夠幫助人們有效的查看處理這些數(shù)據(jù)信息。當(dāng)然，如果想把待分類的文本分類準(zhǔn)確，不僅文本分類算法重要，特征選擇方法也極其重要，其次，挖掘結(jié)果的有效呈現(xiàn)也值得

2、研究。本文主要對文本的特征選擇及其微博文本的挖掘結(jié)果可視化進(jìn)行了相關(guān)研究。
　　特征選擇方法主要工作就是從待分類的文本數(shù)據(jù)中挑選出對文本分類有代表價值的特征詞項，同時還能夠刪除一些待分類文本中的噪聲詞，從而可以降低文本內(nèi)容的維數(shù)以及把文本的分類準(zhǔn)確性提高。而現(xiàn)在的卡方特征選擇方法因為過多的考慮低頻詞的價值而對分類效果造成了一定的影響，所以本文基于χ2特征選擇算法提出了改進(jìn)的建議，首先將χ2特征選擇算法公式進(jìn)行簡化，只考慮特征項與文

3、本的正相關(guān)性，負(fù)相關(guān)性默認(rèn)χ2值為零，這樣可以降低機(jī)器的計算時間，然后我們引入特征項在某類別出現(xiàn)的總的詞頻數(shù)α作為調(diào)節(jié)參數(shù)，這樣就可以用引入的α參數(shù)來消解χ2特征選擇方法對低頻詞的過度倚重的問題。
　　由于微博用戶數(shù)的快速增長，其已經(jīng)成為一個重要的公眾媒介，它不僅是網(wǎng)民從中獲取新聞熱點、實時報道，拓寬視野并且結(jié)交朋友的重要工具，也成為了一個社會公共輿論的重要社交平臺。目前，微博注冊用戶已經(jīng)達(dá)到了5億之多，說明微博平臺已經(jīng)在人們的生