中文微博短文本主題挖掘方法研究與原型系統(tǒng)開發(fā).pdf

1、近年來，隨著互聯(lián)網(wǎng)與智能移動設(shè)備的快速發(fā)展，以Twitter、微博等為代表的社交媒體應(yīng)用變得越來越受歡迎，短文本交互日益普遍，對海量的微博數(shù)據(jù)進(jìn)行分析主題，及時(shí)獲取人們關(guān)注的熱點(diǎn)話題以及滿足用戶在大量產(chǎn)生的信息中查找自己的需求具有重要的現(xiàn)實(shí)意義。微博文本內(nèi)容短小，特征詞稀疏并且規(guī)模龐大，對于微博這種具有特殊特征的短文本，選取有效的方法進(jìn)行主題識別，進(jìn)行細(xì)粒度的主題檢索，最大程度的滿足用戶需求是目前需要解決的重要問題。
　　本文主要

2、針對短文本的信息抽取開展相關(guān)研究工作，研究重點(diǎn)聚焦于中文微博類短文本的內(nèi)隱主題提取，在現(xiàn)有對文本聚類和主題模型的研究基礎(chǔ)上，針對中文微博短文本語料庫，展開了相關(guān)研究。主要研究工作和成果包括:
　　(1)對預(yù)處理后的微博語料集進(jìn)行基于top-k頻繁閉詞集的短文本聚類，聚類過程中對頻繁詞集挖掘算法進(jìn)行了改進(jìn)，避免了min_support的多次嘗試以及頻繁詞集數(shù)據(jù)量巨大的問題，并且以頻繁詞集作為類簇的描述信息，得到微博文本的粗粒度分類。

3、
　　(2)針對類簇內(nèi)主題不明確并且短文本存在的特征稀疏問題，結(jié)合LDA模型和BTM模型提出了一種基于詞對共現(xiàn)LDA模型的類簇內(nèi)潛在主題挖掘方法，對每篇文檔的詞對進(jìn)行建模，提高短文本主題特征的性能，得到細(xì)粒度的類簇內(nèi)隱含主題。
　　(3)根據(jù)短文本聚類和細(xì)粒度類簇內(nèi)主題挖掘相結(jié)合的思想，設(shè)計(jì)出了微博內(nèi)隱主題挖掘系統(tǒng)，不僅能夠準(zhǔn)確的得出微博短文本的劃分類簇，而且能夠?qū)崿F(xiàn)在類簇上進(jìn)一步挖掘主題的目的，最終實(shí)現(xiàn)了對微博平臺內(nèi)微博信