文本表示模型和特征選擇算法研究.pdf

1、文本分類是一種處理非結(jié)構(gòu)信息的有效手段，在機(jī)器學(xué)習(xí)和信息檢索等領(lǐng)域得到了廣泛研究和應(yīng)用。然而由于文本特征具有高維性、高稀疏性，因此文本分類的效果和速度高度依賴于特征選擇方法和文本表示模型的選取。本文在文本特征選擇和文本表示模型兩個(gè)方面展開(kāi)研究，主要工作如下:
　　(1)傳統(tǒng)的基于統(tǒng)計(jì)的特征選擇方法，沒(méi)有考慮特征的語(yǔ)義。為此，本文提出基于LDA詞向量和Word2vec詞向量的特征選擇方法，分別從主題和詞語(yǔ)上下文關(guān)系上，學(xué)習(xí)特征的語(yǔ)義

2、概念。特征選擇完成后，利用向量空間模型，對(duì)語(yǔ)料進(jìn)行分類。在復(fù)旦語(yǔ)料上的實(shí)驗(yàn)結(jié)果表明，基于詞向量的特征選擇分類效果相對(duì)于傳統(tǒng)的特征選擇得到了一定的改善。并且，基于詞向量的特征選擇是一種無(wú)監(jiān)督的方法，無(wú)需標(biāo)注數(shù)據(jù)集。
　　(2)LDA模型(LatentDirichletAllocation)沒(méi)有對(duì)輸入的特征進(jìn)行選擇，因?yàn)楹写罅繉?duì)主題表達(dá)沒(méi)有意義的詞，影響主題質(zhì)量。針對(duì)這種情況，本文提出一種基于遺傳算法的文本特征選擇，預(yù)先使用遺傳算法

3、對(duì)原始的特征空間降低維，使得LDA能夠在更有意義的特征空間上進(jìn)行主題分配。對(duì)復(fù)旦語(yǔ)料庫(kù)進(jìn)行分類實(shí)驗(yàn)，分類效果得到了改善。同時(shí)本文提出的遺傳算法用于特征選擇是自適應(yīng)的，無(wú)需事先確定特征選擇比例。LDA生成的主題中存在部分垃圾主題，一些主題是不相關(guān)的特征詞集合。當(dāng)前主要用通過(guò)手工檢查找有意義的主題。主題自動(dòng)排序的方法，目前只有TSR(TopicSignificanceRanking)。TSR方法步驟比較多，且只考慮主題與垃圾主題的距離，沒(méi)有

4、考慮主題之間的關(guān)系。針對(duì)主題重要性排序，本文提出一種最大垃圾主題距離-最小相似度的主題重要性排序方法。實(shí)驗(yàn)結(jié)果表明，本文提出的主題重要性排序方法，簡(jiǎn)單高效，能夠識(shí)別出有意義的主題。
　　(3)LF-LDA模型(latentfeature-LDA)結(jié)合詞向量訓(xùn)練模型，文本分類效果優(yōu)于LDA。本文在LF-LDA模型的基礎(chǔ)上，提出了基于LF-LDA模型結(jié)合Word2vec的文本表示模型，利用LF-LDA生成的主題向量與Word2vec表