基于核函數(shù)和自定類別數(shù)目的文本聚類問(wèn)題研究.pdf

1、近年來(lái)，Internet的迅速發(fā)展給人們帶來(lái)了諸多的方便，但隨著互聯(lián)網(wǎng)上信息不斷動(dòng)態(tài)變化，經(jīng)常會(huì)出現(xiàn)新的文本很難用己有的分類體系來(lái)刻畫(huà)。如果重新進(jìn)行分類，就必須重新建立分類好的訓(xùn)練文本集，而獲得大量帶有類別標(biāo)注的樣本的代價(jià)是很大的。因此，對(duì)文本聚類技術(shù)的研究受到越來(lái)越廣泛的關(guān)注。目前比較經(jīng)典的聚類方法，K-均值、模糊 K-均值聚類方法只能對(duì)一些典型分布的樣本奏效，都沒(méi)有對(duì)樣本的特征進(jìn)行優(yōu)化，而是直接利用樣本的特征進(jìn)行聚類。這樣聚類和模糊

2、聚類方法的有效性很大程度上取決于樣本的分布情況。例如一類樣本散布較大，而另一類散布較小的話，這些方法效果就比較差；如果樣本分布更加混亂，則聚類的結(jié)果就會(huì)面目全非。核函數(shù)不僅可以把一個(gè)低維空間中的非線性問(wèn)題映射到高維空間后變成線性問(wèn)題，而且高維空間中特征向量的內(nèi)積可以通過(guò)核函數(shù)用低維空間中的輸入向量直接計(jì)算得到，從而使得計(jì)算量并沒(méi)有隨著維數(shù)升高而增加很多。本文在了解核函數(shù)的基本理論上，提出了基于核函數(shù)的文本聚類算法，即核模糊聚類算法。通過(guò)

3、利用Mercer核，我們把輸入空間的樣本映射到高維特征空間，增加對(duì)樣本特征的優(yōu)化，并且在特征空間中進(jìn)行聚類。 本文在詳細(xì)分析圖論中連通圖知識(shí)的理論基礎(chǔ)上，提出了一種能自動(dòng)確定聚類類別數(shù)目的圖核聚類方法。每個(gè)數(shù)據(jù)樣本看作圖中的頂點(diǎn)V，這樣所有的數(shù)據(jù)樣本就構(gòu)成一個(gè)以相似度為權(quán)值的無(wú)向加權(quán)圖G=，該文從圖論連通圖的角度定義了能充分反映最佳聚類數(shù)目的連通系數(shù)T。該系數(shù)不僅將相似的文本劃分到一個(gè)連通圖中，而且具有清晰的物理意義。