微博熱點話題發(fā)現(xiàn)系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著計算機技術(shù)的不斷發(fā)展，微博作為一種新興的網(wǎng)絡(luò)媒體，已經(jīng)從各個方面滲透并影響著人們的生活。微博上每天都有大量的信息產(chǎn)生，這些信息或是對當前熱點時事、重要事件的描述，或是對這些熱點事件、話題的評論。微博以其傳播速度快、使用便捷、影響力廣等優(yōu)勢，迅速從傳統(tǒng)的社交網(wǎng)絡(luò)中脫穎而出，逐漸成為廣大用戶發(fā)表觀點、共享信息和社會交往的一個重要平臺。微博具有信息量龐大、信息分散多等特點。當前微博信息分析技術(shù)是一個研究熱點，涉及學(xué)科范圍也很廣，本文主要從

2、微博熱點話題發(fā)現(xiàn)方面進行研究。為了發(fā)現(xiàn)微博中的熱點話題，首先需要進行微博數(shù)據(jù)的采集;采集之后的數(shù)據(jù)經(jīng)過預(yù)處理，去除數(shù)據(jù)中的噪聲，然后對句子中的命名實體、觸發(fā)詞以及時間等信息進行識別，得到事件的核心詞信息;根據(jù)事件核心詞，計算各個事件之間的相關(guān)度，得到事件相關(guān)微博量占總微博的比例;最后再根據(jù)事件相關(guān)微博的發(fā)布時間分布判斷相關(guān)熱點事件。
　　本文從微博熱點話題發(fā)現(xiàn)的意義和作用出發(fā)，介紹了目前國內(nèi)外的研究現(xiàn)狀;之后在研究傳統(tǒng)文本聚類方法

3、的基礎(chǔ)上，結(jié)合微博的特點，提出了適合微博的熱點話題發(fā)現(xiàn)技術(shù)。本文提出的微博熱點話題發(fā)現(xiàn)系統(tǒng)，使用微博開放的API接口與動態(tài)網(wǎng)頁分析技術(shù)相結(jié)合的方式，進行微博數(shù)據(jù)的采集;之后通過降噪處理、文本分詞和停用詞過濾等步驟，對采集的數(shù)據(jù)進行預(yù)處理;本文改進了傳統(tǒng)的K-Means和BIRCH聚類方法，通過將二者結(jié)合起來，提出了二次聚類K-BIRCH算法，該算法能夠?qū)︻A(yù)處理之后的數(shù)據(jù)進行熱點判斷，抽取出熱點話題。最后，本文通過實驗，分析和驗證了系統(tǒng)的