基于Word2Vec語言模型與圖核設計的文本分類研究.pdf

1、隨著信息化網(wǎng)絡時代的飛速發(fā)展，數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時代已經(jīng)到來。而現(xiàn)實生活中，文本仍是數(shù)據(jù)的主要存在形式。面對如此浩如煙海、雜亂無章的文本數(shù)據(jù)，傳統(tǒng)的人工處理手段不僅費時費力，而且效果并不理想。因此，利用機器學習的方法對文本進行表示并進行自動分類已然成為一個重要的科研方向。文本分類任務中最重要的就是文本的特征表示，主要方法包括詞頻技術(shù)（TF-IDF）、詞袋模型（Bag-of-Words）以及主題模型（LDA）等。但這些方法都存在一

2、定的不足，如缺乏語義信息、受維數(shù)災難困擾、忽略上下文結(jié)構(gòu)等等。這都會對分類準確性造成一定的影響。
　　本研究主要內(nèi)容包括：⑴提出新的文本特征提取方法。受詞袋模型思想的啟發(fā)，在Word2Vec語言模型訓練得到的詞向量（Word Embedding）基礎上，本文提出了聚類詞袋模型（Bag-of-Clusters）。該方法通過分析語言模型中詞向量的相關(guān)屬性，構(gòu)建文本的聚類詞袋模型，從而完成文本的特征向量表示。最后在標準數(shù)據(jù)集中完成文本分

3、類任務，實驗結(jié)果表明新特征表示方法在分類精度上有一定的提高。⑵構(gòu)建文本語義圖。新的文本特征提取方法雖然在一定程度上提高了文本分類精度，但是，直接將文本進行向量化表示必然會忽略很多單詞結(jié)構(gòu)信息。為了能充分利用文本中單詞之間的上下文結(jié)構(gòu)關(guān)系，本文引入圖結(jié)構(gòu)來進行文本表示。通過分析Word2Vec語言模型訓練得到的詞向量的聚類屬性對文本圖結(jié)構(gòu)中的結(jié)點進行語義編碼，從而構(gòu)建文本語義圖。⑶設計能適用于文本圖結(jié)構(gòu)的新圖核。圖核（Graph Kern

4、el）是近幾年來計算圖相似度的有效方法，然而現(xiàn)有圖核卻存在一些局限：時間復雜度較高；擴展性較差；圖結(jié)點類型較少等。為了能有效地完成文本語義圖的匹配，本文設計了新的能適用于文本語義圖的圖核。首先，根據(jù)文本語義圖設計合理的位標簽運算，豐富結(jié)點的結(jié)構(gòu)信息；然后，通過迭代得到圖結(jié)構(gòu)的標簽表示；最后，設計合理的圖核函數(shù)計算圖之間的相似度。通過在標準數(shù)據(jù)集上的文本分類實驗證明，新圖核不僅在一定程度上提高了分類精度，而且降低了圖核計算的時間復雜度，具