模糊聚類算法研究.pdf

1、聚類分析是數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)的核心技術(shù)之一。模糊C-均值聚類算法（FCM）是一種基于原型的聚類算法，具有簡(jiǎn)單、高效、數(shù)據(jù)適應(yīng)性強(qiáng)等特點(diǎn)，是聚類分析中使用最為頻繁的算法和研究熱點(diǎn)。其中最受關(guān)注的問(wèn)題為：（1）如何對(duì) FCM算法中目標(biāo)函數(shù)恰當(dāng)定義使該目標(biāo)函數(shù)既能反映類內(nèi)“距離”和類間“距離”要求的原則，又能體現(xiàn)各個(gè)特征以及不同樣本的重要性；（2）無(wú)論 FCM算法中目標(biāo)函數(shù)如何定義，均會(huì)有相應(yīng)的聚類原型與之對(duì)應(yīng)，從而收斂速度甚至聚類效果必然依

2、賴初始劃分，如何建立一種基于模糊理論的聚類算法來(lái)規(guī)避聚類原型的問(wèn)題，即從根本上解決對(duì)初始劃分的敏感性；（3）如何恰當(dāng)?shù)娜タ坍?huà)半監(jiān)督FCM算法，使監(jiān)督樣本既能體現(xiàn)其典型性，又不失其局限性；（4）如何減少FCM算法的計(jì)算量。
　　針對(duì)問(wèn)題（1）與（4），引入流形學(xué)習(xí)的相似度度量,從基于判別近鄰嵌入流形學(xué)習(xí)算法、基于幾何流形距離和基于統(tǒng)計(jì)流形距離三方面對(duì)FCM聚類算法展開(kāi)研究。通過(guò)算例，基于幾何流形距離的FCM算法能夠有效的識(shí)別不規(guī)則簇

3、；基于判別近鄰嵌入流形學(xué)習(xí)的FCM聚類算法能夠有效的進(jìn)行特征降維并在人臉識(shí)別上取得了良好的效果；基于統(tǒng)計(jì)流形距離的FCM聚類算法特別適合處理高維且具有統(tǒng)計(jì)特性的樣本聚類，計(jì)算量也較小。
　　另外，將數(shù)據(jù)的統(tǒng)計(jì)特型與聚類算法相結(jié)合，研究了在傳統(tǒng)FCM算法的目標(biāo)函數(shù)中引入K-L信息熵來(lái)規(guī)則化FCM算法，并將距離函數(shù)采用高斯混合分布，應(yīng)用于圖像的分割，能將背景與目標(biāo)充分分割開(kāi)來(lái)。同時(shí)研究了任意高斯混合分布間的K-L距離度量，得到了更為緊

4、湊的K-L距離度量公式，將其改造成具有對(duì)稱性的距離度量，并引入到傳統(tǒng)FCM算法和基于K-L信息熵規(guī)則化FCM算法中，建立了一種新的基于高斯混合分布間對(duì)稱K-L距離及KL信息熵規(guī)則化的FCM聚類算法（GMM_PSKL-FCM），應(yīng)用于圖像聚類和檢索中，不僅可以同時(shí)處理多類別的圖像分類，而且大大減少了計(jì)算量。
　　針對(duì)問(wèn)題（1）、（2）與（4），首先研究了樣本特征對(duì)分類的貢獻(xiàn)來(lái)確定其權(quán)重，提出了基于類間分離度和類內(nèi)緊縮度的特征加權(quán)FC

5、M算法；然后采用加權(quán)FCM算法將待分?jǐn)?shù)據(jù)集分割成多個(gè)小類（冗余類），通過(guò)每個(gè)樣本隸屬于各冗余類的隸屬度值計(jì)算冗余類間的貼近度。以冗余類為圖的節(jié)點(diǎn)，以冗余類間的貼近度為節(jié)點(diǎn)間的權(quán)重，并采用Zadeh運(yùn)算下的Floyd算法計(jì)算得到具有較強(qiáng)塊對(duì)稱性的冗余類間的標(biāo)準(zhǔn)貼近度矩陣，提取其譜特征，再次采用FCM算法對(duì)譜特征進(jìn)行聚類完成冗余類的合并。算例表明，基于譜分析的冗余模糊聚類算法既減少了樣本容量又規(guī)避了聚類原型的影響。
　　針對(duì)問(wèn)題（3）

6、，本文將樣本的先驗(yàn)知識(shí)轉(zhuǎn)化為監(jiān)督樣本的隸屬度約束條件加入到傳統(tǒng)的FCM算法求解問(wèn)題中，并根據(jù)監(jiān)督樣本的“典型性”賦予其權(quán)重，采用HPR(Hestenes-Powell-Rockafellar)乘子法進(jìn)行求解，建立了一種新的加權(quán)半監(jiān)督FCM算法（SSFCM-HPR）。監(jiān)督樣本的“典型性”取決于離它所隸屬的聚類中心的遠(yuǎn)近，文中取監(jiān)督樣本的最大與次大隸屬度值之比作為該監(jiān)督樣本的權(quán)重。該算法不僅保留了FCM算法對(duì)監(jiān)督樣本的模糊劃分性，使其能有效