基于聚類分析的網(wǎng)絡(luò)論壇輿情信息挖掘技術(shù)研究.pdf

1、近年來，Internet迅速發(fā)展及網(wǎng)絡(luò)論壇(BBS，Bulletin Board System)的普及，為廣大網(wǎng)絡(luò)用戶提供了一個自由交流的空間，BBS已成為表達民意的一個重要平臺。但BBS中也存在一些污穢的語言，謾罵等不文明行為，甚至存在一些攻擊國家、擾亂社會的言論。為了正確地引導(dǎo)社會輿論，凈化網(wǎng)絡(luò)環(huán)境，BBS輿情監(jiān)控技術(shù)應(yīng)運而生，為政府和網(wǎng)絡(luò)管理部門提供了有效的管理手段，也便于政府及時掌握各個時期民眾關(guān)心的熱點話題，并了解民眾對這些熱

2、點話題的觀點和態(tài)度，從而做出正確、科學(xué)的決策。
　　本文主要研究內(nèi)容有：
　　首先，分析了當(dāng)前文本聚類分析中常用的幾類方法和聚類算法評價標(biāo)準(zhǔn)，并對平面劃分的兩種典型算法通過實驗進行性能比較。本文研究了 K-Means和K-medoids兩種聚類算法在文本挖掘中的應(yīng)用，并通過實驗利用基于人工判定的指標(biāo)對兩類算法在聚類文檔的準(zhǔn)確率和召回率方面進行了性能比較。實驗結(jié)果表明，與K-Means算法相比，K-medoids算法無論在準(zhǔn)確

3、率還是召回率方面都要高出5個百分點以上，且后者在處理異常數(shù)據(jù)和噪聲數(shù)據(jù)方面更為魯棒。在此基礎(chǔ)上，對K-medoids算法進行了改進。由于反復(fù)計算類內(nèi)距離之和使得K-medoids算法計算代價較高。針對這一問題，本文在聚類之前，預(yù)先計算所有對象之間的相似度，建立相似度矩陣，這樣在計算類內(nèi)距離時，通過查詢相似度矩陣的方法，可以大大減少計算代價。
　　其次，介紹了本文作者如何將非結(jié)構(gòu)化的BBS文檔轉(zhuǎn)換為結(jié)構(gòu)化的文本，BBS文本的預(yù)處理過