基于密度的改進K-Means文本聚類算法研究.pdf

1、伴隨著信息技術(shù)和計算機網(wǎng)絡(luò)的不斷發(fā)展,每天有數(shù)億的分布式信息被人們所共享。如何在這些海量的、異構(gòu)的信息資源中快速而有效的檢索出需要的信息成為人們?nèi)找骊P(guān)注的問題。知識發(fā)現(xiàn)和數(shù)據(jù)挖掘技術(shù)是解決這一問題的最新課題。文本聚類是文本發(fā)現(xiàn)和文本挖掘的最重要、最基本的功能之一,近年來文本聚類算法的研究取得了長足的發(fā)展和一系列的研究成果。
　　目前常用的文本聚類算法有五類:基于劃分的聚類算法,如最常用的 K-means算法;基于層次的聚類算法;基

2、于密度的聚類算法,如 DBSCAN算法;基于網(wǎng)格的聚類算法和基于模型的聚類算法
　　K-means算法是文本聚類算法中的最經(jīng)典的基于劃分的算法之一。其主要思想是隨機選擇 K個初始中心點,將每個簇中心用該簇中數(shù)據(jù)的均值表示。這種算法具有時間復(fù)雜度低,實現(xiàn)簡單等優(yōu)點,對處理大數(shù)據(jù)集的可伸縮性較好。但是該算法也有比較明顯的缺點:首先該算法的聚類效果對聚類初始中心的選擇和設(shè)置過于敏感,極易導(dǎo)致聚類結(jié)果隨之波動;其次是需要提前給定 K值固定

3、聚類個數(shù);另外該算法在運行中容易陷入局部最優(yōu)解。
　　本文對傳統(tǒng)的 K-means算法加以改進,主要有兩個方面的。首先基于距離和統(tǒng)計的思想對數(shù)據(jù)集中的孤立點進行了檢測,先將數(shù)據(jù)點之間按最近距離升序排列,計算出所有數(shù)據(jù)點最近鄰距離最大的幾個數(shù)據(jù)點的最近鄰距離差,以最大的距離差對應(yīng)的距離值為半徑對數(shù)據(jù)點的密度進行統(tǒng)計,將密度小于密度閾值的數(shù)據(jù)點進行統(tǒng)計學(xué)標(biāo)準化值的檢測,從而判斷出數(shù)據(jù)集的強孤立點和部分弱孤立點并進行處理。
　　其

4、次提出一種可變步長的初始中心點選取算法。先將最近最小距離的數(shù)據(jù)點的平均距離計算出來,以此建立可變步長的半徑空間,數(shù)據(jù)點的從小到大在半徑空間中選取半徑,對半徑密度值進行計算,最終將半徑密度最大最遠的數(shù)據(jù)點作為初始聚類中心點進行輸出。
　　最后將基于距離和統(tǒng)計的孤立點檢測算法和基于可變步長的初始中心選取算法結(jié)合到傳統(tǒng)的 K-Means聚類算法中,產(chǎn)生了基于密度的改進 K-Means文本聚類算法。該算法通過對孤立點的檢測和處理能避免傳統(tǒng)