短文本分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，社交網(wǎng)絡(luò)也逐漸成為人們交流和獲取信息的重要渠道。其中，國外最具有代表性的社交網(wǎng)絡(luò)是Facebook和Twitter，而國內(nèi)最具代表性的則是新浪微博和騰訊微博等。由于這些數(shù)據(jù)大多數(shù)是以文本形式來存在的，且通常都會有字數(shù)限制，因此有關(guān)短文本的研究勢在必行，而如何通過相關(guān)文本挖掘技術(shù)有效及時地獲取其中的有用信息顯得尤為重要。文本挖掘通常包括文本分類、文本聚類、文檔摘要等。近年來，隨著文本分類技術(shù)的廣泛使用，它已成為一個熱門的

2、研究領(lǐng)域。
　　本文首先對短文本的主要特點以及研究領(lǐng)域進行了概述，并對有關(guān)的短文本的研究現(xiàn)狀和其中涉及到的關(guān)鍵技術(shù)進行了簡明扼要的介紹。接著，針對短文本具有的數(shù)據(jù)量大、數(shù)據(jù)稀疏的特點，我們引入了LDA(Latent Dirichlet Allocation)主題模型和信息增益(Information gain，IG)特征選擇算法來提高短文本分類的效率。
　　傳統(tǒng)的文本表示模型是向量空間模型(Vector Space Mode

3、l，VSM)，它通常是以詞或短語為特征的，文檔集被表示成文檔—詞匯矩陣。但是對于短文本來講，同一個詞出現(xiàn)在不同短文本的概率會遠遠小于長文本，這種數(shù)據(jù)的稀疏性，使得傳統(tǒng)的長文本表示模型以及機器學(xué)習(xí)的方法無法直接應(yīng)用到短文本上;其次，由于短文本的數(shù)據(jù)多，計算量大，因此需要通過特征降維來提高它的效率。LDA模型是一個三級分層貝葉斯無監(jiān)督學(xué)習(xí)模型，它能夠直接獲取隱藏在文本中的語義信息，而不需要通過搜索引擎等外部文本來擴展短文本。從信息增益特征選

4、擇公式來看，它不僅前半部分考慮了特征出現(xiàn)的情況，同時后半部分也考慮了特征不出現(xiàn)的情況，因而在去除“無用詞”時效果顯著。
　　針對以上問題和基于LDA模型和信息增益的特點，本文的第3部分采用信息增益來進行特征降維，然后再用LDA進行主題建模，最后以主題作為特征，建立文本類模型。經(jīng)過對比實驗的micro F1值顯示，短文本的分類性能有了顯著提升。
　　傳統(tǒng)的信息增益算法在類和特征項分布不均時，分類性能明顯下降。所以本文的第4部分