基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究.pdf

1、隨著現(xiàn)代科技的發(fā)展，人類邁入了信息社會(huì)，各行各業(yè)的信息數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長。如何從這些海量數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的熱點(diǎn)。數(shù)據(jù)挖掘（Da ta mining）技術(shù)是信息決策和數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)的重要工具，聚類技術(shù)便是數(shù)據(jù)挖掘技術(shù)中一個(gè)非常重要的手段。聚類技術(shù)目的是將大量樣本或抽象的數(shù)據(jù)按照相互之間的相似性分成若干個(gè)子集合，從而發(fā)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)，幫助人們更好的了解數(shù)據(jù)之間隱藏的信息。信息科技的進(jìn)步，導(dǎo)致信息規(guī)模增長越來越快，樣本包含

2、的特征也越來越復(fù)雜，很多傳統(tǒng)聚類算法都已無法應(yīng)對(duì)如此大規(guī)模的數(shù)據(jù)，研究人員將注意力轉(zhuǎn)移到能夠適應(yīng)復(fù)雜海量數(shù)據(jù)的新型算法上。本文將結(jié)合傳統(tǒng)模糊聚類算法并引入流數(shù)據(jù)聚類的概念，提出了針對(duì)海量數(shù)據(jù)的流數(shù)據(jù)聚類模型，使算法能夠適應(yīng)大規(guī)模數(shù)據(jù)集。本文主要工作如下：
　?。?）提出了一種基于傳統(tǒng)點(diǎn)密度加權(quán) FCM聚類算法的適應(yīng)較大規(guī)模手寫數(shù)字圖片識(shí)別的方法。本方法根據(jù)現(xiàn)有流數(shù)據(jù)聚類方法，每次讀取一個(gè)數(shù)據(jù)點(diǎn)，每次循環(huán)只對(duì)一個(gè)點(diǎn)和現(xiàn)有聚類中心計(jì)算

3、隸屬度，根據(jù)隸屬度的最大值來決定是否令該點(diǎn)直接參與聚類模型的更新。本算法的關(guān)鍵步驟就是設(shè)計(jì)了一個(gè)基于流數(shù)據(jù)的聚類框架，結(jié)合在線k-means算法模型更新方法和點(diǎn)密度加權(quán)的FCM算法，實(shí)現(xiàn)了one-by-one的在線聚類來進(jìn)行無監(jiān)督方式的手寫數(shù)字識(shí)別。本算法避免了同時(shí)處理所有數(shù)字圖像數(shù)據(jù)，極大地減輕了大規(guī)模數(shù)據(jù)處理時(shí)對(duì)計(jì)算機(jī)硬件的要求，同時(shí)與現(xiàn)有的分塊的WFCM算法相比，由于大部分點(diǎn)直接參與了聚類模型的更新，減少了調(diào)用 WFCM算子的次數(shù)

4、，從而節(jié)省了計(jì)算時(shí)間，降低了時(shí)間的復(fù)雜度，更適合處理規(guī)模較大的手寫數(shù)字圖片數(shù)據(jù)。
　?。?）基于上一部分提出的流數(shù)據(jù)處理框架，提出了一種改進(jìn)的流數(shù)據(jù)處理方法，由于之前提出的算法是基于點(diǎn)密度加權(quán)的FCM算法，雖然該算法根據(jù)數(shù)據(jù)樣本周圍的密度來給每一個(gè)數(shù)據(jù)點(diǎn)加權(quán)值以突顯出周圍密度較大的特點(diǎn)，一定程度上提高了算法的收斂速度，但這種算法需要給數(shù)據(jù)池中的每一個(gè)點(diǎn)都計(jì)算權(quán)值，這在一定程度上增加了算法的計(jì)算復(fù)雜度。為了避免這種現(xiàn)象，本章我們提出

5、了一種在SPFCM基礎(chǔ)上改進(jìn)的流數(shù)據(jù)聚類算法，這個(gè)算法在上一章中已經(jīng)使用過。這個(gè)算法的基本原理也是給每個(gè)樣本點(diǎn)進(jìn)行加權(quán)，但每個(gè)樣本點(diǎn)的權(quán)值都初始化為1，只有聚類中心的權(quán)值會(huì)不斷增加，每多一個(gè)點(diǎn)對(duì)應(yīng)的聚類中心的權(quán)值就會(huì)增加。這樣在對(duì)后來進(jìn)入的數(shù)據(jù)塊進(jìn)行聚類時(shí)，這些權(quán)值較大的點(diǎn)就更容易成為聚類中心。
　　（3）對(duì)現(xiàn)有的社區(qū)檢測(cè)算法做了深入研究發(fā)現(xiàn)，社區(qū)檢測(cè)問題和數(shù)據(jù)聚類問題有很多相似的地方，且目前已有很多用聚類手段來做社區(qū)檢測(cè)的方法。

6、由于對(duì)復(fù)雜網(wǎng)絡(luò)的特征矩陣結(jié)構(gòu)較為復(fù)雜，現(xiàn)有聚類方法方法效果不是很理想。于是我們引入量子聚類方法對(duì)網(wǎng)絡(luò)的特征矩陣進(jìn)行聚類來劃分社區(qū)。首先用結(jié)構(gòu)相似度矩陣來度量網(wǎng)絡(luò)節(jié)點(diǎn)關(guān)系的強(qiáng)弱，對(duì)由該矩陣提取出的特征矩陣進(jìn)行聚類，將社區(qū)檢測(cè)問題轉(zhuǎn)化為聚類問題。并在聚類階段引入節(jié)點(diǎn)鄰接信息，提高了算法的處理效率并提高了算法性能，并在人工生成網(wǎng)絡(luò)和真實(shí)世界網(wǎng)絡(luò)上和其他算法做了對(duì)比。
　　本文得到如下基金資助：教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃：（NCET-1