基于語義相似度的文本聚類算法的研究.pdf

1、文本聚類在很多文本挖掘和信息檢索系統(tǒng)中發(fā)揮著重要的作用。這種技術(shù)可以改善檢索性能、提供導(dǎo)航/瀏覽機(jī)制、發(fā)現(xiàn)相似文本等。因此，對(duì)文本聚類的研究已成為數(shù)據(jù)挖掘中一個(gè)非常重要的課題。 文本聚類的首要問題是文本數(shù)據(jù)的數(shù)學(xué)表示。目前多數(shù)文本聚類算法都是以向量空間模型（VSM）為基礎(chǔ)的。這種文本表示方法非常簡(jiǎn)單，但卻引發(fā)了高維稀疏的問題。而且，基于向量空間模型的聚類算法都沒有很好地解決文本數(shù)據(jù)所特有的兩個(gè)自然語言問題：近義詞和多義詞。所有這

2、些問題都極大干擾了文本聚類算法的效率和準(zhǔn)確性，使文本聚類的性能下降。盡管人們提出通過向量空間權(quán)重調(diào)整和降維來解決上述問題，但是這些方法都有自身的缺點(diǎn)。向量空間權(quán)重調(diào)整法實(shí)際上并沒有解決以上問題，它只能非常有限地提高文本聚類的性能。降維法雖然解決了高維稀疏問題，但是降維的代價(jià)一般都非常大。另外，現(xiàn)有的文本聚類算法大多沒有給出聚類描述的方法。 為了避免上述問題的產(chǎn)生，本人采用了一種新的思路，即采用語義相似度作為文本間相似度的度量。為

3、了完善這一思想，本文對(duì)文本表示，語義相似度計(jì)算以及聚類算法作了深入討論。提出了一種更利于語義相似度計(jì)算的概念列表文本表示法；結(jié)合Quillian的聯(lián)合概念距離計(jì)算的方法，提出了文本間語義相似度的計(jì)算方法；最后提出了一種基于語義相似度的文本聚類算法—TCUSS算法。TCUSS算法利用語義相似度作為文本間相似度的度量，不僅解決了多義詞和近義詞的問題，而且不會(huì)產(chǎn)生高維稀疏的問題。TCUSS算法以圖為基礎(chǔ)進(jìn)行聚類分析，避免了算法對(duì)聚簇形狀的限制