一種基于統(tǒng)計流形學(xué)習(xí)的文本分類算法.pdf

1、文本是一種常見的數(shù)據(jù)形式，人們每天都會使用文本這一信息載體與他人進行交流，互聯(lián)網(wǎng)中每時每刻都會產(chǎn)生海量的文本數(shù)據(jù)。文本分類在信息檢索、數(shù)據(jù)挖掘、情感分析等任務(wù)上都發(fā)揮著巨大的作用。根據(jù)提取特征方式的不同，文本分類算法可以分為以下三大類:基于統(tǒng)計的文本分類算法，基于語義相似度的文本分類算法以及基于深度學(xué)習(xí)的文本分類算法。常見的基于統(tǒng)計的文本分類算法有詞頻-逆向文件頻率模型(TF-IDF)，樸素貝葉斯等等。這些方法把詞作為特征項，詞出現(xiàn)的次

2、數(shù)作為權(quán)值，然后把文本表示為一個特征向量，最后使用分類器進行文本分類。這些方法假設(shè)相似的文本中有很多相同的詞，但是這忽略了不同詞之間的語義相似性?；谡Z義相似度的文本分類方法通常根據(jù)文本的主題信啟、對文本的相似度進行度量，如主題模型等等，但是這些方法不能夠清晰地捕捉到詞和文本的主題多樣性。近年來，深度學(xué)習(xí)方法吸引了許多研究者的注意，但是這些方法，比如卷積神經(jīng)網(wǎng)絡(luò)或者循環(huán)神經(jīng)網(wǎng)絡(luò)等等，也有著一些不足。比如梯度消失問題以及大規(guī)模參數(shù)訓(xùn)練帶來

3、的時間消耗。本文提出了一種基于統(tǒng)計流形學(xué)習(xí)的文本分類算法，它提供了一個基于潛在主題分布的文本概率模型表示。該模型假設(shè)同一個主題下的詞服從高斯分布，然后文本被表示為一個混合高斯模型，最后利用統(tǒng)計流形學(xué)習(xí)的方法可以對文本之間的距離進行度量。
　　本文的主要工作包括:
　　(1)從文本的生成過程出發(fā)，提出了一種文本表示的概率模型。每個主題被表示為一個高斯分布，文本被表示為一個高斯混合模型。這種概率模型可以對文本和詞的主題多樣性進行