高維數(shù)據(jù)的聚類分析研究及應(yīng)用.pdf

1、分類號(hào):密級(jí):UDC:單位代碼:10078華北水利水電大學(xué)碩士學(xué)位論文高維數(shù)據(jù)的聚類分析研究及應(yīng)用RESEARCHONCLUSTERINGMETHODSFHIGHDIMENSIONALDATATHEIRAPPLICATION研究生姓名：蘇飛指導(dǎo)教師：彭高輝專業(yè)名稱：概率論與數(shù)理統(tǒng)計(jì)所在學(xué)院：數(shù)學(xué)與統(tǒng)計(jì)學(xué)院2017年5月摘要I高維數(shù)據(jù)的聚類分析研究及應(yīng)用摘要聚類分析是數(shù)據(jù)挖掘的重要組成部分，旨在將混雜在一起的數(shù)據(jù)對(duì)象根據(jù)對(duì)象間的相似性劃分

2、成若干類簇。同一類簇中的數(shù)據(jù)對(duì)象相似性較高，不同類簇中的數(shù)據(jù)對(duì)象差異較大。隨著高維數(shù)據(jù)的普遍存在，且由于高維數(shù)據(jù)的稀疏性和維災(zāi)難效應(yīng)的影響，導(dǎo)致傳統(tǒng)的聚類算法的有效性大大降低甚至失效。因此，關(guān)于高維數(shù)據(jù)下的聚類分析成為研究的熱點(diǎn)和難點(diǎn)問(wèn)題?；诮稻S技術(shù)的高維聚類方法是解決高維數(shù)據(jù)聚類分析問(wèn)題的有效途徑，本文首先對(duì)經(jīng)典Kmeans算法進(jìn)行優(yōu)化，然后對(duì)降維后的數(shù)據(jù)集進(jìn)行聚類分析。針對(duì)經(jīng)典Kmeans算法由于初始聚類中心的隨機(jī)選擇導(dǎo)致迭代次數(shù)

3、過(guò)多和聚類結(jié)果波動(dòng)的問(wèn)題，利用DPC算法的密度峰值搜索過(guò)程，提出一種基于局部密度優(yōu)化初始聚類中心的DPKmeans算法。通過(guò)計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的局部密度i?值和到具有更高局部密度點(diǎn)的距離i?值，選取這兩個(gè)值都較大的點(diǎn)作為初始聚類中心，從而得到合適的聚類個(gè)數(shù)K，而具有較大i?值和較小i?值的作為離群點(diǎn)，然后利用Kmeans算法得到最后的聚類簇。對(duì)于高維數(shù)據(jù)聚類問(wèn)題，第一階段用PCA、MDS、ISOMAP、LLE降維方法對(duì)高維數(shù)據(jù)集降維處理，通

4、過(guò)評(píng)價(jià)聚類算法的性能對(duì)降維后的特征子集進(jìn)行評(píng)價(jià)；第二階段利用DPKmeans算法進(jìn)行聚類分析。通過(guò)在UCI數(shù)據(jù)集和運(yùn)動(dòng)分割數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，比較聚類質(zhì)量和迭代次數(shù)等有效性評(píng)價(jià)指標(biāo)，結(jié)果表明，DPKmeans算法在降維后的高維數(shù)據(jù)集上具有相對(duì)較高的準(zhǔn)確率和穩(wěn)定性。綜上，本文從數(shù)據(jù)挖掘的概念入手，重點(diǎn)研究高維數(shù)據(jù)聚類分析的問(wèn)題，借助PCA、MDS、ISOMAP、LLE降維技術(shù)，將DPKmeans算法應(yīng)用于UCI和運(yùn)動(dòng)分割數(shù)據(jù)集的聚類問(wèn)題，取