基于改進H-K聚類算法的熱點話題發(fā)現(xiàn)方法.pdf

1、隨著社會網(wǎng)絡(luò)的快速發(fā)展，微博客已經(jīng)成為人們?nèi)粘Ｉ钪袦贤ń涣?、信息傳播的平臺之一。在很短的時間內(nèi)，微博平臺能產(chǎn)生海量的、信息分散的數(shù)據(jù)集，微博客用戶很難從這些海量文本信息中分辨出熱點話題，所以如何快速、準確的從海量的微博客文本數(shù)據(jù)集中挖掘出熱點話題成為當前研究的熱點。由于傳統(tǒng)的話題發(fā)現(xiàn)方法通常是基于特征詞匹配的，沒有考慮微博客文本潛在的語義，導(dǎo)致話題發(fā)現(xiàn)的質(zhì)量不高。針對微博客的特點，本文從語義的角度對微博客熱話題發(fā)現(xiàn)技術(shù)進行了深入的研究

2、，提出一種基于改進H-K聚類算法的話題發(fā)現(xiàn)方法。
　　本文首先針對微博客數(shù)據(jù)集文本的時間刻度特性和話題的持續(xù)性的特點，對熱點話題發(fā)現(xiàn)方法中用到的H-K聚類算法進行了改進。針對海量的微博客數(shù)據(jù)集，在微博客話題發(fā)現(xiàn)方法中，結(jié)合Hadoop中的MapReduce編程思想，將該算法進行了并行化實現(xiàn)，以提高聚類的處理效率。其次，本文從語義的層次對微博客文本進行分析，通過引入LDA主題模型將非結(jié)構(gòu)化的微博客文本轉(zhuǎn)化為文本-主題分布和主題-文本

3、特征詞分布，以降低微博客文本的維度，并從語義的角度對微博客進行建模，以提高微博客文本相似度計算的準確度。同時在微博客文本建模階段，結(jié)合MapReduce并行編程思想將LDA主題模型并行化，以提高微博客數(shù)據(jù)集的處理能力。
　　實驗表明，改進的H-K聚類算法的聚類效果明顯得到提高，時間效率也得到提升，而且能更好的應(yīng)用到微博客文本的聚類中，解決了傳統(tǒng)聚類算法效率不高的問題；引入云計算平臺后，提高了對海量微博客文本數(shù)據(jù)集的處理能力；本文提