基于CMB-LDA的微博主題挖掘.pdf

1、隨著計算機(jī)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，微博作為一種信息傳播速度快、用戶互動性強(qiáng)、信息實時性高的新型網(wǎng)絡(luò)媒體很快得到人們的認(rèn)可，成為人們了解時事信息、分享個人生活點滴重要平臺。僅新浪微博一例，每日就有幾億條新微博，其中包含大量時事信息。對于如此重要的網(wǎng)絡(luò)媒體，如何及時的獲取其中的熱點主題、用戶關(guān)注的主題方向、社會熱點話題的輿論方向顯得非常重要。
　　本文在傳統(tǒng)LDA模型的基礎(chǔ)上，結(jié)合四種類型微博（@類型微博、話題類型微博、轉(zhuǎn)發(fā)類型微博、回

2、復(fù)類型微博）特點，提出中文微博主題模型CMB-LDA(Chinese MicroBlog-Latent Dirichlet Allocation)。從國內(nèi)中文微博平臺（主要是新浪微博）上爬取微博數(shù)據(jù)，利用開源的漢語分詞系統(tǒng)NLPIR對微博數(shù)據(jù)分詞處理，去掉停用詞，挖掘出2013年7月到2013年12月之間微博數(shù)據(jù)的主題，并通過實驗對比LDA模型與CMB-LDA模型的Perplexity性能。全文有下面幾點貢獻(xiàn):
　　1)挖掘出用戶

3、與主題之間的關(guān)系。對于一條@到某個用戶的微博，說明這個被@的用戶與這條微博的主題有關(guān)聯(lián)關(guān)系，根據(jù)這種關(guān)聯(lián)關(guān)系，只要知道了微博的主題，就可以知道被@的用戶關(guān)注的主題，這樣就可以挖掘出用戶與主題之間潛在的語義價值。微博平臺可以根據(jù)這種潛在的語義關(guān)系向用戶做個性化的推薦。
　　2)挖掘出熱門話題下的主題。CMB-LDA模型在傳統(tǒng)主題挖掘“文檔-主題”概念的基礎(chǔ)上提出“話題-主題”的概念，即一個話題下，用戶討論了那些主題。該模型的做法是挖

4、掘出與話題相關(guān)聯(lián)的微博主題，進(jìn)而找到話題下用戶關(guān)注那些主題。根據(jù)這一信息，微博平臺可以分析出熱門事件中民眾的輿論方向，有利于知悉和引導(dǎo)民眾輿論。
　　3)實驗驗證CMB-LDA模型性能。本文通過實驗分別計算出LDA模型與CMB-LDA模型的Perplexity值，實驗結(jié)果表明在相同的迭代次數(shù)下CMB-LDA模型的Perplexity值更?。╬erplexity值越小表明模型性能越好）。
　　4)使用Gibbs Samplin