基于LDA模型的觀點聚類研究.pdf

1、在信息檢索中，文本聚類的目的是發(fā)現(xiàn)語義上較為相近的文本，精確的聚類結(jié)果能夠使用戶快速地理解文本的內(nèi)容，從而做出有利的判斷。文本聚類在市場銷售、城市規(guī)劃、地震研究等方面起著不可或缺的重要作用。而隨著網(wǎng)絡的普及和網(wǎng)絡購物的日益盛行，人們越來越多的通過網(wǎng)絡實現(xiàn)主觀需求并表達自己的觀點。因此對觀點聚類的研究也變得很有必要。
　　本文分別從主題和觀點兩個角度進行了聚類研究。對于主題聚類，提出了基于潛在狄利克雷分配(LDA)模型的特征選擇方法

2、;對于觀點聚類，采用LDA建模得到的文本與隱含類別之間的關(guān)系矩陣進行文本表示，并對所提出的觀點聚類方法進行了領(lǐng)域依賴性檢驗。主要內(nèi)容如下:
　　(1)基于LDA特征選擇方法的主題聚類。通過LDA建模，發(fā)現(xiàn)特征和主題之間的隱含關(guān)系，在此基礎(chǔ)上，對主題聚類的特征進行了選擇，采用K-means算法對文本進行了主題聚類。為了驗證該方法的有效性，與詞語貢獻度的特征選擇方法+K-means算法以及基于LDA模型的文本與隱含類別之間的概率分布矩

3、陣直接得到聚類結(jié)果進行了比較實驗，實驗結(jié)果顯示，當選擇2％的特征時，相對于詞語貢獻度(Term Contribution，TC)方法的純度和F值分別提高了15％和16％，相對于LDA直接得到文本與類別關(guān)系的實驗結(jié)果的純度和F值分別提高了14％和13％。
　　(2)基于文本與隱含類別間的概率分布的文本表示的觀點聚類。使用LDA建模，獲得文本與隱含類別之間的概率分布矩陣，以此將文本來表示成概率分布的向量空間模型。為了驗證方法的有效性，

4、與布爾模型的文本表示法和TF-IDF的表示進行對比分析。利用K-means聚類算法，在第一屆中文傾向性分析評測會議(COAE2008)數(shù)據(jù)上的進行了實驗，結(jié)果表明，在最好的情況下，本文所提出的方法比布爾表示法的聚類結(jié)果提高了6％的純度和7％的F值，比TF-IDF表示的聚類結(jié)果高6％的純度和9％的F值。說明了本文所使用的方法在文本的表示更合理。
　　(3)觀點聚類的領(lǐng)域依賴性檢驗。觀點聚類是觀點挖掘任務之一。由于觀點挖掘通常具有很強