基于聚類分析的網(wǎng)絡(luò)論壇輿情信息挖掘技術(shù)研究.pdf

1、近年來，Internet迅速發(fā)展及網(wǎng)絡(luò)論壇(BBS，Bulletin Board System)的普及，為廣大網(wǎng)絡(luò)用戶提供了一個自由交流的空間，BBS已成為表達民意的一個重要平臺。但BBS中也存在一些污穢的語言，謾罵等不文明行為，甚至存在一些攻擊國家、擾亂社會的言論。為了正確地引導社會輿論，凈化網(wǎng)絡(luò)環(huán)境，BBS輿情監(jiān)控技術(shù)應(yīng)運而生，為政府和網(wǎng)絡(luò)管理部門提供了有效的管理手段，也便于政府及時掌握各個時期民眾關(guān)心的熱點話題，并了解民眾對這些熱

2、點話題的觀點和態(tài)度，從而做出正確、科學的決策。
　　本文主要研究內(nèi)容有：
　　首先，分析了當前文本聚類分析中常用的幾類方法和聚類算法評價標準，并對平面劃分的兩種典型算法通過實驗進行性能比較。本文研究了 K-Means和K-medoids兩種聚類算法在文本挖掘中的應(yīng)用，并通過實驗利用基于人工判定的指標對兩類算法在聚類文檔的準確率和召回率方面進行了性能比較。實驗結(jié)果表明，與K-Means算法相比，K-medoids算法無論在準確

3、率還是召回率方面都要高出5個百分點以上，且后者在處理異常數(shù)據(jù)和噪聲數(shù)據(jù)方面更為魯棒。在此基礎(chǔ)上，對K-medoids算法進行了改進。由于反復計算類內(nèi)距離之和使得K-medoids算法計算代價較高。針對這一問題，本文在聚類之前，預先計算所有對象之間的相似度，建立相似度矩陣，這樣在計算類內(nèi)距離時，通過查詢相似度矩陣的方法，可以大大減少計算代價。
　　其次，介紹了本文作者如何將非結(jié)構(gòu)化的BBS文檔轉(zhuǎn)換為結(jié)構(gòu)化的文本，BBS文本的預處理過