教育領(lǐng)域BBS的熱點話題發(fā)現(xiàn)研究——以西祠胡同教育版為例.pdf

1、無處不在的網(wǎng)絡(luò)、無處不在的通訊和堆積如山的文檔，構(gòu)成了當(dāng)今社會信息爆炸的基本特征。BBS是目前最流行的網(wǎng)上討論場所之一，越來越受到網(wǎng)絡(luò)用戶的歡迎。因此，在Web論壇上會產(chǎn)生大量的新的內(nèi)容，這也使得人們對信息的獲得變得越來越難。當(dāng)然，人們打開論壇，首先關(guān)心的是該論壇內(nèi)討論最激烈最有價值的話題是什么。但是當(dāng)面對如此龐大且繁雜的數(shù)據(jù)，獲取這種熱門的話題如此之難。為了解決這個難題，本文提出了基于語義和時間推移的單遍聚類方法來發(fā)現(xiàn)BBS中的熱點話

2、題，該方法是在深入分析和研究BBS的結(jié)構(gòu)、語言模式、文本特點的基礎(chǔ)上得出的。
　　 首先，針對BBS論壇上的數(shù)據(jù)設(shè)計了相應(yīng)的封閉式的網(wǎng)絡(luò)蜘蛛，將Web網(wǎng)頁上的帖子相關(guān)網(wǎng)頁下載到本地供以后使用。以西祠胡同的十個教育版塊為例，抓取了每個版塊前十頁的內(nèi)容。
　　 其次，針對抓取的信息進行信息抽取，并將抽取的結(jié)構(gòu)化的數(shù)據(jù)信息存入本地數(shù)據(jù)庫中。這里針對西祠胡同頁面的語言模式特點和網(wǎng)頁結(jié)構(gòu)分布的規(guī)律，提出了一種基于網(wǎng)頁結(jié)構(gòu)和正則匹配

3、的BBS信息抽取方法，該抽取方法能夠高效且準(zhǔn)確的抽取出BBS中的信息。
　　 接著，由于BBS文本的非規(guī)范性導(dǎo)致很多帖子的內(nèi)容根本沒有實際的含義，因此在文本表示時首先需進行預(yù)處理，包括分詞、去停用詞、去噪等。然后對剩下的詞通過同義詞詞林進行語義的映射，將BBS中非規(guī)范的詞轉(zhuǎn)成相對規(guī)范的詞，有助于帖子語義信息的處理，將用不同表達方式表達的語句映射為類似方式表達的語句。
　　 緊接著，對已經(jīng)處理好的信息進行基于單遍聚類處理以

4、發(fā)現(xiàn)話題。在進行聚類處理時考慮到帖子的時間特性及內(nèi)容特性，認(rèn)為每個帖子的熱度是隨著時間的發(fā)展而降低的，因此采取一種基于語義及時間推移的單遍聚類方法，在聚類的同時計算每個主題的能量值，話題的總能量值就是組成該話題帖子的能量值之和。
　　 最后，對于前面已經(jīng)生成的話題，進行熱度的排序。這里熱度高低的評價方法包含兩個部分，一是用戶的關(guān)注度，二是話題的爆發(fā)性。用戶的關(guān)注度可從統(tǒng)計的角度來計算，包括瀏覽數(shù)、回復(fù)數(shù)、參與人數(shù)等。話題的爆發(fā)性