微博客話題檢測的研究與實現(xiàn).pdf

1、隨著信息技術的發(fā)展,越來越多的人利用互聯(lián)網(wǎng)來發(fā)布和獲取信息,互聯(lián)網(wǎng)變成了人們生活中不可缺少的一部分?；ヂ?lián)網(wǎng)信息的增加,使得獲取和管理這些信息變得越來越困難了,導致信息超載。為了更好的獲取和管理信息,人們提出了話題檢測相關技術,其主要目的是研究在多媒體和跨語言信息流中自動檢測出新話題的方法。而由于微博具有原創(chuàng)性、時效性、隨意性,這使得傳統(tǒng)的話題檢測算法在微博話題討論下處理效果并不理想。
　　Latent Dirichlet Allo

2、cation(LDA)作為一種非監(jiān)督的話題模型,在微博環(huán)境下,由于微博的時效性和突發(fā)性,LDA需要預先確定話題個數(shù)的缺點使得該模型在微博下難以適用。這一點使得 LDA模型難以擬合微博的真實話題分布。另一方面,基于層次的聚類算法不需要事先確定類別個數(shù),以及互信息作為一種文本特征選取方法具有良好的區(qū)分度。因此,在本論文中,我們提出了一種LDA模型與層次聚類算法相結合的話題檢測算法。該算法解決了LDA模型需要預先設定熱點話題個數(shù)的缺點,能動態(tài)