基于演化理論的BBS熱點話題發(fā)現(xiàn).pdf

1、BBS是目前最流行的網(wǎng)上討論場所之一。它越來越受到網(wǎng)絡(luò)用戶的喜愛,特別在中國更加受到廣大網(wǎng)民的歡迎。每天,在BBS上會產(chǎn)生大量新的討論內(nèi)容,使得人們對熱點話題的獲取越來越困難。為了解決這個難題,我們深入研究了BBS帖子發(fā)布、用戶參與、話題討論等各項特點,并提出了基于演化理論的BBS熱點話題發(fā)現(xiàn)方法。首先,BBS中語言更加口語化、非正規(guī)化,大量的縮寫、簡寫充斥于內(nèi)容之間,而且有些帖子的內(nèi)容根本沒有實際的含義,即使是BBS經(jīng)歷豐富的用戶也很

2、難理解其中的意思。我們提取了這些無效帖子的特征進行過濾,保障了后續(xù)話題內(nèi)容提取的質(zhì)量。其次,BBS具有獨特的話題討論方式。經(jīng)研究發(fā)現(xiàn),雖然每天會產(chǎn)生大量的討論帖子,但是大多數(shù)帖子討論的只是少量幾個話題。當(dāng)社會突發(fā)事件產(chǎn)生時,用戶可能會從不同的側(cè)面新建主題進行討論,或者BBS中有爭議的主題出現(xiàn)時,用戶也會新建主題進行不同觀點間的切磋。本論文采用增量聚類技術(shù)對同一話題的主題內(nèi)容進行了有效的組織。最后,BBS討論存在話題偏移現(xiàn)象?；谔游恢?/p>

3、信息的主題向量構(gòu)建方法很好的解決了此難題。為了找出符合要求的熱點話題,我們明確定義了BBS熱點話題的四大特征：帖子數(shù)量大,質(zhì)量高,內(nèi)容內(nèi)聚度高,突發(fā)性特征明顯。圍繞此目標(biāo),我們提出的基于演化理論的BBS熱點話題發(fā)現(xiàn)方案主要分為以下三個步驟。首先,對需要處理的BBS數(shù)據(jù)進行預(yù)處理,并通過增量單邊聚類的方法獲得候選話題。其次,基于這些抽取得到的話題,我們使用演化理論來計算每個話題的熱度。以上兩個步驟都是按時間增量進行的。最后,根據(jù)熱點話題的

4、定義調(diào)整參與排序的話題,然后根據(jù)每個話題的能量值按照降序排列,便可得到我們需要的BBS熱點話題。在真實的BBS數(shù)據(jù)上進行的實驗證明我們的方法是相當(dāng)有效的。首先,基于演化理論的熱點話題發(fā)現(xiàn)方法找到的熱點更加全面。其次,由于深入研究了話題在BBS中的討論特點,本方法還能找到傳統(tǒng)方法無法發(fā)現(xiàn)的熱點話題。再者,本方法采用的能量排序方法保證了所發(fā)現(xiàn)的熱點話題具有更強的時效性。最后,本方法不僅可以很好的發(fā)現(xiàn)短時間興起的熱點話題,同時對延續(xù)時間較長的