大規(guī)模數據聚類分析方法研究.pdf

1、聚類分析是數據挖掘與模式識別等領域的一個重要的研究課題。隨著IT技術的迅猛發(fā)展，人們應用的數據庫的規(guī)模和應用的范圍不斷地擴大，數據采集技術不斷更新，人們快速產生和收集數據的能力不斷增強，大規(guī)模數據集受到了整個社會的廣泛關注。大規(guī)模數據集的出現給數據聚類分析的許多算法帶來了極大的挑戰(zhàn)，許多算法變得不能很好地、甚至不能對大規(guī)模的數據集進行有效地聚類分析。如何使這些算法能夠有效地處理大規(guī)模數據集已經成為數據挖掘領域的一大研究熱點。本文在對現有

2、數據聚類算法的相關研究進行總結的基礎之上，以一些真實和人造的大規(guī)模數據集為應用背景，深入研究了大規(guī)模數據集數據聚類分析算法中的如下幾個關鍵問題。
　?。?）針對大規(guī)模數據集k-means算法因為容易收斂于局部最優(yōu)解而產生的聚類結果的質量不高、對初始聚類中心點敏感的問題，提出了基于最大三角形法則的k-means聚類算法和基于最大三角形法則的半監(jiān)督k-means聚類算法，通過利用最大三角形法則選取初始聚類中心和借鑒半監(jiān)督聚類的思想，提

3、高了算法處理大規(guī)模數據集的聚類結果的質量和穩(wěn)定性。
　?。?）針對譜聚類算法在處理大規(guī)模數據集時計算復雜度高的問題，提出了一種基于Nystr(o)m方法的快速譜聚類算法。該算法利用有約束的抽樣模型和Nystr(o)m方法降低了譜聚類算法的計算復雜度，提高了聚類結果的質量。
　?。?）針對最小距離分類法和最近鄰分類法在訓練樣本很少或訓練樣本偏離類中心較遠時，分類效果較差的問題，提出了基于均值更新（MU）的分類模型和基于均值更新

4、的最小距離（MU-MD）分類模型，通過糾正MU分類過程中的錯分，提高分類效果。在此分類模型的基礎上，針對常用聚類方法在大規(guī)模數據處理上的不足，提出了一種劃分聚類新方法。該方法采用了大規(guī)模數據集的抽樣技術，對多次抽取的規(guī)模足夠大的樣本進行聚類以確定自然簇質心的初始位置，在此基礎上采用抽樣后剩余數據樣本對質心的初始位置進行更新，以便校正偏離理想位置的初始質心。實驗結果表明本文提出的新聚類算法不僅能得到比常用聚類算法更理想的結果，而且運行速度