基于近似密度構(gòu)造的聚類分析與離群點檢測算法研究.pdf

1、聚類分析是研究數(shù)據(jù)聚簇模式的技術(shù).由于它始終是數(shù)據(jù)挖掘研究的重要內(nèi)容、手段和工具,因此,聚類分析又是一個被不斷探索并充滿創(chuàng)新的研究主題.離群點檢測是研究包含在數(shù)據(jù)中的少數(shù)異常而新穎的數(shù)據(jù)分布模式的技術(shù).隨著數(shù)據(jù)挖掘研究的不斷深入并拓展到風(fēng)險檢測等眾多特殊應(yīng)用領(lǐng)域,面向這一新興課題的研究方興未艾.近年來,網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)高速發(fā)展,由此引發(fā)的數(shù)據(jù)爆炸使面向大規(guī)模海量數(shù)據(jù)集的數(shù)據(jù)挖掘研究成為關(guān)鍵.探索并構(gòu)造具有高性能、高效率的新算法是解決大規(guī)

2、模數(shù)據(jù)挖掘問題的有效途徑,也是本文開展聚類分析和離群點檢測問題研究的著眼點和出發(fā)點.本文將數(shù)據(jù)空間網(wǎng)格劃分技術(shù)與數(shù)據(jù)集密度函數(shù)構(gòu)造技術(shù)緊密結(jié)合在一起,形成了基于網(wǎng)格上近似密度函數(shù)模型的算法構(gòu)造思想.數(shù)據(jù)空間網(wǎng)格劃分技術(shù)不僅被有效地運用于數(shù)據(jù)組織,使其發(fā)揮數(shù)據(jù)存儲和索引上的高效率,而且被運用于分箱核密度估計,成為簡化密度函數(shù)計算中的有效機制.在密度函數(shù)構(gòu)造上,通過采用簡便高效的分箱核估計避免傳統(tǒng)核密度估計方法的繁復(fù)計算.為了提高分箱核估計

3、的計算精度,本文提出了基于網(wǎng)格數(shù)據(jù)重心的分箱核近似方法,從理論上證明了其在誤差階上的改進(jìn)結(jié)果的正確性.進(jìn)一步地,本文就常用的高斯核估計提出并論證了用于進(jìn)一步提高近似核估計精度的帶修正的近似核函數(shù)計算方法.這種方法在不改變分箱近似核估計計算復(fù)雜度的同時,可以十分精確地逼近傳統(tǒng)的核密度函數(shù).將上述基于網(wǎng)格上近似密度函數(shù)計算的思想運用于聚類分析和離群點檢測算法構(gòu)造,提出了用于改進(jìn)DENCLUE算法的DENCLUE-M聚類算法和離群點檢測算法G

4、ridOF,GROFC.其中,DENCLUE-M算法和GridOF算法深入揭示了聚類分析與離群點檢測之間的內(nèi)在聯(lián)系,GROFC算法則從離群數(shù)據(jù)與聚類數(shù)據(jù)在個別屬性上的差異性的角度,在Chebyshev距離意義下討論了離群點檢測問題.所構(gòu)造的幾類算法均源自于嚴(yán)格的數(shù)學(xué)理論,具有相對于原始數(shù)據(jù)集線性的時間復(fù)雜度和優(yōu)良的空間效率,能夠在有限的內(nèi)存空間中處理任意規(guī)模的數(shù)據(jù)集并支持增量聚類,且對數(shù)據(jù)維數(shù)具有良好的適應(yīng)性.此外,DENCLUE-M聚