中文文本聚類的評價與改進研究.pdf

1、聚類作為一種知識發(fā)現(xiàn)的重要方法，它廣泛地與中文信息處理技術(shù)相結(jié)合，應(yīng)用于網(wǎng)絡(luò)信息處理中以滿足用戶快捷地從互聯(lián)網(wǎng)獲得自己需要的信息資源。
　　 文本聚類是聚類問題在文本挖掘中的有效應(yīng)用，它根據(jù)文本數(shù)據(jù)的不同特征，按照文本間的相似性，將其劃分為不同的文本簇。其目的是要使同一類別的文本間的相似度盡可能大，而不同類別的文本間的相似度盡可能的小。整個聚類過程無需指導(dǎo)，事先對數(shù)據(jù)結(jié)構(gòu)未知，是一種典型的無監(jiān)督分類，因此，最終的聚類結(jié)果需要進行

2、有效性驗證和質(zhì)量評價。
　　 由于文本是一個特殊的數(shù)據(jù)對象，目前研究中對文本聚類分析結(jié)果的評價機制不統(tǒng)一，尚無得到普遍認可的科學(xué)評價機制及與之相關(guān)的深入研究。在聚類改進方法中，絕大多數(shù)研究者投入到聚類算法研究，卻忽略了聚類結(jié)果帶來的信息。雖然經(jīng)過眾多研究者努力，中文文本聚類研究取得了一定的進展，但仍然存在很多問題亟待解決，尤其在文本聚類評價及其改進方面。
　　 本文首先對文本聚類和文本分類技術(shù)進行了簡單的介紹，比較了各自

3、的優(yōu)缺點。再在研究文本聚類過程的基礎(chǔ)上，分析了可能影響聚類結(jié)果的各個因素，特別對文本表示模型、文本相似度計算方法和文本聚類算法選擇三方面因素進行了較詳細的論述。
　　 然后，通過回顧已有的文本聚類評價指標，本文分析了其應(yīng)用特性和優(yōu)缺點，針對現(xiàn)有評價方法存在的問題，特別是基于人工標注的評價指標之應(yīng)用局限性，論文提出了一種新的基于吻合度的文本聚類結(jié)果評價方法。該評價方法從聚類結(jié)果的穩(wěn)定性角度出發(fā)，通過比較前后聚類結(jié)果的吻合程度來判斷

4、聚類效果。同基于人工標注的評價方法相比，方法不僅有效避免了人工標注類別環(huán)節(jié)，而且能正確評價不同的文本聚類結(jié)果。實驗結(jié)果驗證了方法的有效性和應(yīng)用性。
　　 受聚類評價過程的啟發(fā)，本文嘗試從聚類結(jié)果出發(fā)，結(jié)合分類算法對數(shù)據(jù)集重新分類，提出了一種基于迭代分類的聚類結(jié)果改進方法。該方法巧妙地結(jié)合了聚類和分類兩種獨立的開采方法，使其相得益彰，將聚類結(jié)果的優(yōu)化過渡到分類層面。通過引入迭代分類思想，使得最終聚類結(jié)果在單一聚類算法得到的初始結(jié)果