K-means算法的改進(jìn)及其在文本數(shù)據(jù)聚類中的應(yīng)用.pdf

1、隨著計(jì)算機(jī)水平的迅猛發(fā)展，特別是近年來“互聯(lián)網(wǎng)+”、云平臺(tái)等應(yīng)用于各行各業(yè)，各類數(shù)據(jù)海量增長，而這些海量數(shù)據(jù)的背后往往蘊(yùn)含著非常豐富的信息，依靠傳統(tǒng)的數(shù)據(jù)檢索、分析方法和數(shù)據(jù)管理模式已不能滿足我們獲取及管理數(shù)據(jù)的需要。因此，數(shù)據(jù)挖掘技術(shù)成為解決當(dāng)今社會(huì)如何快速獲取有用信息的方法之一。聚類分析作為典型的非監(jiān)督的描述類統(tǒng)計(jì)技術(shù)手段，在現(xiàn)今各行各業(yè)中應(yīng)用廣泛。
　　K-means算法是聚類分析中基于劃分的動(dòng)態(tài)聚類算法，由于其簡(jiǎn)單易操作，

2、被廣泛應(yīng)用，但該算法有著自身的不足，如對(duì)孤立點(diǎn)和初始點(diǎn)敏感、適合發(fā)現(xiàn)球類簇等。在這些不足中，初始質(zhì)點(diǎn)和孤立點(diǎn)直接影響著聚類算法的運(yùn)行時(shí)間及運(yùn)行效果，且目前尚沒有統(tǒng)一的方法對(duì)孤立點(diǎn)及初始質(zhì)點(diǎn)的選取進(jìn)行說明。因此本文針對(duì)以上問題，主要做了如下改進(jìn)：
　?。?）首先根據(jù)孤立點(diǎn)對(duì)實(shí)驗(yàn)的影響程度及在統(tǒng)計(jì)學(xué)中標(biāo)準(zhǔn)分?jǐn)?shù)和標(biāo)準(zhǔn)偏差的定義，數(shù)據(jù)結(jié)構(gòu)差異較大的數(shù)據(jù)集在經(jīng)過標(biāo)準(zhǔn)化處理及偏差統(tǒng)計(jì)后，數(shù)據(jù)集的相異度往往減少的現(xiàn)象，提出了利用標(biāo)準(zhǔn)分?jǐn)?shù)與偏差去

3、除孤立點(diǎn)的思想；其次根據(jù)K-center算法對(duì)孤立點(diǎn)較傳統(tǒng)K-means算法魯棒性強(qiáng)的特性，對(duì)傳統(tǒng)的距離乘積法進(jìn)行了一定的優(yōu)化，再次，由于在統(tǒng)計(jì)學(xué)中常以標(biāo)準(zhǔn)分?jǐn)?shù)及偏差來衡量整個(gè)數(shù)據(jù)集的離散程度，故提出了用最小的標(biāo)準(zhǔn)偏差代替數(shù)據(jù)集中最高密度的思想。最后用UCI數(shù)據(jù)庫中Iris、Wine、Balance-Scale、Glass數(shù)據(jù)集進(jìn)行仿真模擬，驗(yàn)證算法的可行性。
　　（2）在實(shí)際應(yīng)用方面，由于近年來“互聯(lián)網(wǎng)+”的影響，數(shù)據(jù)呈“爆炸式