基于LDA的微博話題聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，伴隨著web2.0技術的應用，像微信、微博等互聯(lián)網(wǎng)應用的普及使得短文本以及碎片化信息時代的到來。這些信息漸漸普及并且蔓延到了人們生活的每個角落，極大地豐富了人們的生活也豐富了互聯(lián)網(wǎng)的世界，同時，給互聯(lián)網(wǎng)的數(shù)據(jù)挖掘帶來了更多的機遇和挑戰(zhàn)。短文本與傳統(tǒng)文本最大的不同就是簡短，用語不規(guī)范、新生詞語跟網(wǎng)絡流行語的快速增長。由于這些特點，傳統(tǒng)針對長文本的文本聚類方法并不適用。所以，快速并且有效進行短文聚類，從而從短文本中獲取

2、有效的信息成為了當下學者們的研究熱點，對數(shù)據(jù)挖掘有著重大的意義。
　　對于類似于微博這種短文本研究技術，話題聚類是非常重要也是最基礎的部分，在這一部分中，碎片化的信息能夠有效地進行歸類整理，從而發(fā)掘出明確的話題信息。發(fā)掘出的話題是微博中的熱點話題，所以討論熱點話題的微博數(shù)量會比較龐大，這些微博往往跟現(xiàn)實生活有所聯(lián)系。傳統(tǒng)的聚類方法很多，各種改進算法以及相結合算法也層出不窮，達到的效果也往往不錯。
　　LDA（Latent D

3、irichlet Allocation，潛在狄利克雷分布）主題模型是一個比較成熟也比較完善的話題聚類方法，但是由于LDA會把每個文檔屬于每個主題的概率計算出來，也就是把每個文檔根據(jù)概率歸為某個主題，然而有些文檔并沒有主題，或者主題不明確，這樣就無法辨別出來，本文的數(shù)據(jù)集一部分帶標注的數(shù)據(jù)，一部分是人為添加的無標注集，這樣，帶標注的數(shù)據(jù)集就帶有明確的主題，也就是我們所說的熱點話題，而不帶標注的就是屬于垃圾主題的微博。本文嘗試利用topic

4、 rank算法進行話題排序，根據(jù)得到的排序提取特色主題的關鍵詞，接著對微博進行主題聚類，采用本文提出的文本關聯(lián)詞算法對歸類后的文本數(shù)據(jù)進行優(yōu)化調整，并嘗試利用LDA得到主題關鍵詞和文本關聯(lián)詞算法進行聚類分析，使用這兩種方法的到的結果與標注集進行實驗對比分析。在實驗的研究中，作者的主要工作如下：
　?。?）針對LDA主題模型的進行話題聚類時，并沒有區(qū)分出主題的明確性，利用topic rank算法對計算話題的特色性，并根據(jù)打分進行降序

5、列，根據(jù)得到的排序可以得到相應的特色主題以及跟主題有關的微博。
　?。?）針對被歸類后的微博，提出文本關聯(lián)詞算法對聚類的結果進行優(yōu)化調整，調整后的的準確率、召回率和F值都得到了提高。
　　（3）利用LDA得到的主題關鍵詞，結合文本關鍵詞算法進行聚類分析，得到的準確率、召回率和F值相較于LDA話題聚類和優(yōu)化后的結果都得到了更多的提高。
　　上面敘述實驗中用到的數(shù)據(jù)集能夠模擬微博數(shù)據(jù)，一部分帶熱點話題的微博是帶有明確的主題