基于粒計算模型和卷積神經(jīng)網(wǎng)絡模型的短文本分類研究.pdf

1、文本分類的前提就是文本表示,文本表示的傳統(tǒng)方法大多是采用計數(shù)的形式,而這種計數(shù)的方式認為詞與詞之間是互相獨立存在的,沒有考慮到文本語義信息,在特征選擇時過多加入了人為的因素,從而導致提取的特征維度高、稀疏性強,無法有效地表示文本信息。而且現(xiàn)在在互聯(lián)網(wǎng)上產生大量的文本信息,種類復雜以及變化多樣性的主題給文本分類帶來了很多挑戰(zhàn),如果采用傳統(tǒng)的機器學習分類算法去訓練模型時,泛化能力弱,尤其當數(shù)據(jù)集不平衡時。所以,如何更好的文本表示以及新的分類

2、算法成為研究的關鍵點。
　　在2006年,深度學習逐漸興起,目前已經(jīng)在語音和圖像領域取得了重大的突破和發(fā)展,很多的深度學習研究成果都比傳統(tǒng)的機器學習算法有更好的分類效果以及出色的性能,訓練的模型,泛化能力更強。本文采用適合短文本分類表示的方法以及利用粒計算模型對短文本特征擴展,并且結合卷積神經(jīng)網(wǎng)絡模型對短文本進行分類,為此本文主要做了以下工作:
　　1.詳細地介紹了常見的短文本分類任務中的流程,包括數(shù)據(jù)預處理、分詞、去停用詞

3、、特征表示等關鍵步驟。除此之外,還分析了短文本數(shù)據(jù)的特點,以及采用傳統(tǒng)的機器學習分類算法時遇到的問題,這將為后續(xù)本文所采用的文本特征提取、文本特征擴展以及如何設計卷積神經(jīng)網(wǎng)絡模型奠定了基礎。
　　2.本文在構建短文本特征表示形式時,并沒有人工構建,而是基于Skip-Gram神經(jīng)網(wǎng)絡語言模型訓練每個詞的word embedding,在訓練時,除了自己的語料庫,還加入了維基百科的數(shù)據(jù),從而能夠更好地表達詞與詞之間的語義信息,提高詞的特

4、征表達能力。
　　3.提出一種基于粒計算模型的文本特征詞擴展方法,首先利用語料庫中訓練好的每個詞的word embedding,即特征詞的詞向量,基于所有特征詞的詞向量構建詞向量空間,然后構造出相關的?；P系對這個詞向量空間進行粒化,?；慕Y果使得詞向量空間中的每個特征詞都具有一個特征詞類,也稱為特征詞粒,每個特征詞類內部的特征詞之間保持高度的相似性,最后選取特征詞類中的特征詞進行擴展,有效地緩解了短文本數(shù)據(jù)稀疏性問題,進一步提高

5、了特征詞的語義信息。
　　4.設計了四種卷積核的卷積神經(jīng)網(wǎng)絡模型結構,在對每個文本擴展特征基礎上,進一步提取了文本信息中最重要的信息,完成短文本分類任務。同時,在訓練文本特征時,參數(shù)會不斷更新。通過三組對比實驗,可以得知:相比于傳統(tǒng)的機器學習分類算法,本文提出的方法在分類效果上取得了更優(yōu)的結果;利用詞嵌入對文本特征進行初始化,相比于人工隨機賦予文本特征初始化,在分類效果上更優(yōu)異;本文的方法相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型而言也取得了更