面向微博短文本的事件檢測(cè)研究.pdf

1、推特、新浪微博等社交網(wǎng)絡(luò)社區(qū)中每天都傳播著現(xiàn)實(shí)世界中發(fā)生的事件。這些事件可以是多種多樣的，比如明星軼事，政治事件，當(dāng)?shù)厣鐣?huì)事件以及自然災(zāi)害等。用戶在見(jiàn)證或參與發(fā)生的事件時(shí)會(huì)在微博平臺(tái)中發(fā)文以表達(dá)觀點(diǎn)或?qū)で箨P(guān)注，因此微博平臺(tái)積累的用戶數(shù)據(jù)和大量的微博文本數(shù)據(jù)對(duì)于發(fā)現(xiàn)社會(huì)上發(fā)生的事件具有極大的價(jià)值。然而社交媒體的事件檢測(cè)有以下幾個(gè)難點(diǎn):一，與傳統(tǒng)媒體不同，社交媒體的文本是無(wú)格式并且垃圾文本占多的短文本，這導(dǎo)致很多針對(duì)傳統(tǒng)媒體比如報(bào)紙、網(wǎng)站博

2、客等設(shè)計(jì)的算法不再適用于社交媒體，比如基于文檔聚類的事件檢測(cè)算法不再適用于微博類的社交媒體。二，社交媒體數(shù)據(jù)量比較大，傳統(tǒng)的基于文本聚類的事件檢測(cè)算法效率會(huì)非常低下，而且基于特征詞聚類的方法在用詞向量等詞袋模型表示時(shí)會(huì)隨著數(shù)據(jù)量的增大出現(xiàn)維數(shù)災(zāi)難。
　　為了解決現(xiàn)有算法的不足以及更有效的利用微博檢測(cè)事件，本文針對(duì)微博類社交媒體自身的特點(diǎn)，提出了兩種不同類型的算法:基于EventGraph圖模型的事件檢測(cè)算法和EventLDA事件生

3、成模型。
　　在基于EventGraph圖模型的算法中，我們利用詞語(yǔ)的共現(xiàn)關(guān)系，以及詞語(yǔ)之間的關(guān)聯(lián)強(qiáng)度等構(gòu)建有向加權(quán)圖，事件則以子圖或社區(qū)的形式分布其中。由于社交媒體文本，噪聲多，數(shù)量大，我們提出了基于關(guān)鍵節(jié)點(diǎn)的事件社區(qū)發(fā)現(xiàn)算法。該算法不僅能夠避免把由噪聲文本組成的社區(qū)誤認(rèn)為事件社區(qū)而且降低了基于圖模型的事件發(fā)現(xiàn)算法的時(shí)間復(fù)雜度。此外基于關(guān)鍵節(jié)點(diǎn)的事件社區(qū)提取互不干擾，該算法能夠很好的并行化。
　　EventLDA事件生成模

4、型是一個(gè)三層的貝葉斯混合模型，包含了詞語(yǔ)-事件-用戶三層模型。在該模型中，事件是詞語(yǔ)和時(shí)間上的一個(gè)概率分布，用戶是事件上的一個(gè)概率分布，同時(shí)假定每一條文檔只描述了一個(gè)事件。在該模型中，我們假設(shè)每一條的文檔的生成過(guò)程如下:用戶首先從自己事件分布中選擇一個(gè)事件，然后基于該事件在詞語(yǔ)上的概率分布選擇詞語(yǔ)，如此重復(fù)以上過(guò)程直到文檔完。成我們采用吉布斯采樣算法來(lái)估計(jì)模型的參數(shù)，即事件在詞語(yǔ)上的概率分布以及用戶在事件的概率分布。
　　為了驗(yàn)證