基于微博文本的話題聚類研究與實(shí)現(xiàn).pdf

1、Web2.0技術(shù)的出現(xiàn)推動了大數(shù)據(jù)時代的到來。以微博為代表的社會網(wǎng)絡(luò)新媒體的興起，在豐富了大數(shù)據(jù)的同時，也給數(shù)據(jù)挖掘和知識發(fā)現(xiàn)帶來了諸多挑戰(zhàn)，因?yàn)楹蛡鹘y(tǒng)的文本信息不同，微博信息涉及個人興趣、娛樂、企業(yè)營銷、公益宣傳等多方面內(nèi)容，且內(nèi)容碎片化，數(shù)據(jù)量龐大。如何有效分析和挖掘其中的信息，成為當(dāng)前一個重要的研究課題。
　　話題聚類技術(shù)是微博研究的一項(xiàng)基礎(chǔ)工作。它將海量的微博數(shù)據(jù)自動歸類，使話題內(nèi)容相近的微博自動歸為一類。話題聚類結(jié)果可用

2、于深層話題分析與數(shù)據(jù)挖掘。傳統(tǒng)的基于關(guān)鍵字的處理方法可能會返回?cái)?shù)以千百計(jì)的結(jié)果，其內(nèi)容多是重復(fù)性的或關(guān)聯(lián)較小的內(nèi)容，不適合處理上述問題。話題聚類技術(shù)可通過智能處理算法，使內(nèi)容相近的信息自動聚在一起，便于了解該類的主要話題;通過主題詞提取，可使處理結(jié)果更加直觀。本文基于微博文本，通過采用智能處理算法，完成了如下工作:首先，獲取微搏的結(jié)構(gòu)化數(shù)據(jù)，完成對微博數(shù)據(jù)的采集以及在聚類前對數(shù)據(jù)的預(yù)處理。第二，完成了針對文本聚類的特征詞選擇，針對微博短