基于BTM主題模型特征擴(kuò)展的短文本相似度計算.pdf

1、隨著因特網(wǎng)和各種移動終端的發(fā)展，計算機(jī)對各種文本類信息處理的重要性日益凸顯。短信、微博、電子商務(wù)的普及更使得用簡短的文字表示信息越來越重要。每天TB級數(shù)據(jù)的產(chǎn)生，標(biāo)志著大數(shù)據(jù)時代的來到。從簡單的文本中挖掘輿論傾向，從商品評論中挖掘消費心理，短文本的挖掘有助于幫助政府更貼近了解民意傾向，幫助企業(yè)更好的了解用戶需求。然而，短文本不像長文本那樣具有豐富的語義特征，語義和特征矩陣的稀疏特性導(dǎo)致難以對它進(jìn)行挖掘。本文的重點在于改善短文本特征矩陣的

2、稀疏性問題，并用改善后的短文本矩陣進(jìn)行相似度計算。在長文本的領(lǐng)域，主題模型的發(fā)展和應(yīng)用已經(jīng)日趨成熟。但是對于有著數(shù)據(jù)稀疏性的短文本來說，主題模型還不能脫離長文本的影子。很多論文致力于如何把短文本通過相關(guān)信息擴(kuò)充成長文本再進(jìn)行建模計算。由于很多的短文本相關(guān)信息并不是那么容易找到，并且這種方法，其結(jié)果的好壞對于用來擴(kuò)充的信息的準(zhǔn)確度有著很大的依賴性，所以這種方法不具有通用性。本文結(jié)合2013年5月IW3C2會議上提出的在短文本建模方面有具有

3、優(yōu)勢的BTM主題模型對短文本進(jìn)行特征擴(kuò)展后，再用擴(kuò)展后的特征矩陣進(jìn)行相似度計算，實驗證明了本方法取得了很好的效果。
　　本文首先介紹了VSM的原理，以及如何使用VSM對短文本建模進(jìn)而進(jìn)行短文本的相似度計算。其次，本文簡要介紹三種文本相似度計算公式（距離公式），實驗對比了夾角余弦和JS距離兩種相似度計算方法的好壞，最終確定了使用JS距離作為本算法中的距離計算方法。然后簡要介紹了LSI、pLSI、LDA、和BTM主題模型的原理。簡要介

4、紹LDA模型原理、參數(shù)估計方法、GibbsLDA模型的輸入輸出。重點介紹BTM模型建模及推斷過程、BTM參數(shù)估計方法和BTM模型的輸入輸出的文檔形式和參數(shù)。并且實驗對比了兩種模型在相似度計算中的效果，作為剛剛提出的文本模型，相比較于傳統(tǒng)的針對長文本建模的主題模型，和使用外部背景資料進(jìn)行擴(kuò)充的短文本處理方法，BTM模型利用整個短文本語料庫的豐富信息進(jìn)行建模和推斷，很好的改善了短文本語義稀疏的問題，在短文本建模以及概率推斷上有著很大優(yōu)勢。<

5、br>　　最后，本文提出了使用BTM主題模型對短文本特征擴(kuò)展來改善短文本特征稀疏的問題，后用改善后的短文本特征矩陣計算短文本相似度的方法，首先對短文本特征選擇進(jìn)行去噪處理，建立短文本的特征矩陣，由于該矩陣具有稀疏性，所以用BTM模型的推斷結(jié)果對短文本的稀疏的特征矩陣進(jìn)行特征擴(kuò)展，將擴(kuò)展后的矩陣作為相似度計算的輸入。最后用JS距離衡量短文本相似度。本文詳細(xì)介紹了LDA模型和BTM模型的輸入輸出格式、參數(shù)，并在論文的末尾附上了BTM模型預(yù)處