微博特定話題檢測與跟蹤研究及實現(xiàn).pdf

1、隨著越來越多的用戶愿意上網(wǎng)發(fā)微博，表達(dá)對公共事件的關(guān)注和看法、表達(dá)個人情感或情緒、報道新聞事件、發(fā)表觀點(diǎn)等，微博已經(jīng)成為非常有價值的數(shù)據(jù)源。如何有效地獲取和展現(xiàn)微博數(shù)據(jù)中的有效信息，提高信息獲取的效率，長期以來一直是一個研究熱點(diǎn)。本文分析了微博文本的結(jié)構(gòu)特點(diǎn)，構(gòu)建了一個微博數(shù)據(jù)預(yù)處理話題檢測與跟蹤系統(tǒng)。系統(tǒng)通過新浪微博平臺獲取數(shù)據(jù)并進(jìn)行分詞，基于分詞結(jié)果選取特征詞構(gòu)造向量空間模型（VSM）；在計算特征權(quán)重時基于微博的hashtag信息來

2、提升話題特征詞的權(quán)重；使用微博轉(zhuǎn)發(fā)關(guān)系提高微博聚類的準(zhǔn)確率；并利用微博的轉(zhuǎn)發(fā)數(shù)、評論數(shù)以及發(fā)微博用戶信息的相關(guān)信息來提取關(guān)鍵詞；考慮微博本身的結(jié)構(gòu)特征，針對微博的轉(zhuǎn)發(fā)關(guān)系，構(gòu)造轉(zhuǎn)發(fā)關(guān)系表對微博話題進(jìn)行自適應(yīng)地跟蹤，進(jìn)而獲取微博話題的發(fā)展方向。本文主要工作包括：
　　（1）針對微博文本具有hashtag的特點(diǎn)，并且hashtag通常是對整個微博內(nèi)容的綜合概括，提出了基于hashtag的權(quán)重計算方法，該方法能夠有效地提高微博聚類的效果