基于異構(gòu)網(wǎng)絡(luò)的微博新聞事件自動檢測與摘要算法研究與實現(xiàn).pdf

1、如今，微博平臺在實時傳播信息方面發(fā)揮了重要作用。然而，由于其具有規(guī)模大、實時性強和數(shù)據(jù)非結(jié)構(gòu)化的特點，常見的數(shù)據(jù)挖掘方法在處理它們時不再適用。為了克服傳統(tǒng)微博事件檢測與摘要方法忽視微博平臺中豐富視覺和社交信息的缺點，幫助人們快速掌握本質(zhì)意義的大量的微博，本文以著名社交網(wǎng)站Twitter上多個個熱點話題約100萬數(shù)據(jù)作為主要研究對象，主要研究了跨模態(tài)微博事件檢測、摘要。考慮包括文本、視覺、社交、時間等多個特征，提出了基于異構(gòu)網(wǎng)絡(luò)的事件檢測

2、和摘要框架。首先在數(shù)據(jù)預(yù)處理階段，定義嚴格的過濾模式去除無意義的博文和圖片;接下來在事件檢測階段，使用異構(gòu)網(wǎng)絡(luò)模擬微博數(shù)據(jù)的異質(zhì)特性，采用后期多模態(tài)融合實體相似性模型來組合Twitter數(shù)據(jù)的異質(zhì)特征，并使用近似相似算法生成融合特征后的同構(gòu)圖。下一步在同構(gòu)相似度圖上采用改進DBSCAN的算法，融入概率模型解決子話題分割的問題，然后根據(jù)子話題的熱度及新穎度對產(chǎn)生的聚類排序。最后，分別為話題生成文本和視覺摘要。
　　本文的貢獻如下:<

3、br>　　1、利用多模態(tài)信息構(gòu)建動態(tài)異構(gòu)信息網(wǎng)絡(luò)，解決傳統(tǒng)方法不能利用微博豐富附加信息的缺點。利用AFF函數(shù)融合多模態(tài)特征，考慮它們的語義相似性和時空接近性來區(qū)分事件。從異構(gòu)網(wǎng)絡(luò)轉(zhuǎn)換為同構(gòu)網(wǎng)絡(luò)，保留關(guān)鍵信息的同時為之后的檢測和摘要簡化結(jié)構(gòu)。
　　2、為了提高檢測和摘要的多樣性，減少話題分割的現(xiàn)象，在聚類階段，提出HRDBSCAN算法，在原有聚類算法的基礎(chǔ)上結(jié)合概率統(tǒng)計方法合并相似類簇;在摘要階段，對子話題摘要結(jié)果再聚類，確保每個子