高維空間大數(shù)據(jù)集分布式聚類及離群知識(shí)發(fā)現(xiàn)算法研究.pdf

1、聚類分析是數(shù)據(jù)挖掘的重要研究課題，它是數(shù)據(jù)挖掘研究的重要內(nèi)容、手段和工具，因而成為一個(gè)被不斷探索并充滿創(chuàng)新的研究主題。離群知識(shí)發(fā)現(xiàn)是近年來倍受數(shù)據(jù)挖掘研究者關(guān)注的一個(gè)新興研究領(lǐng)域，它研究數(shù)據(jù)中少數(shù)異常而新穎的數(shù)據(jù)分布模式，離群知識(shí)發(fā)現(xiàn)在入侵檢測、風(fēng)險(xiǎn)控制等領(lǐng)域有著廣泛應(yīng)用。 近年來，隨著衛(wèi)星遙感、X光掃描、分子生物、高能物理研究等技術(shù)的發(fā)展，大量的數(shù)據(jù)被存儲(chǔ)在數(shù)據(jù)庫中，這些數(shù)據(jù)具有維度高、數(shù)據(jù)分布稀疏、噪聲數(shù)據(jù)多的特點(diǎn)，這就使得

2、面向高維大規(guī)模數(shù)據(jù)集的數(shù)據(jù)挖掘研究成為關(guān)鍵。探索并構(gòu)造具有高性能、高效率的新算法是解決高維空間大數(shù)據(jù)集挖掘問題的有效途徑，也是本文開展聚類分析和離群知識(shí)發(fā)現(xiàn)研究的著眼點(diǎn)和出發(fā)點(diǎn)。 論文分析了高維空間大數(shù)據(jù)集數(shù)據(jù)分布的特點(diǎn)，以及高維空間大數(shù)據(jù)集挖掘所需解決的問題，對(duì)已有的聚類分析及離群知識(shí)發(fā)現(xiàn)算法的優(yōu)缺點(diǎn)進(jìn)行了分析，針對(duì)大數(shù)據(jù)集的生成方式，提出分布式挖掘、增量式挖掘、數(shù)據(jù)流挖掘等解決方法，提出了一系列面向高維大規(guī)模數(shù)據(jù)集的有效的聚

3、類及離群知識(shí)發(fā)現(xiàn)算法。 針對(duì)高維空間數(shù)據(jù)聚類可能出現(xiàn)的數(shù)據(jù)分布稀疏、噪聲數(shù)據(jù)多、聚類參數(shù)設(shè)定困難以及“差距趨零”等問題，在DBSCAN算法的基礎(chǔ)上，提出一種k鄰域局部密度聚類算法k-PCLDHD及其優(yōu)化算法k-LDCHD，算法既保持了DBSCAN算法快速高效的特點(diǎn)，又有效地提高了DBSCAN算法對(duì)高維空間數(shù)據(jù)聚類的精度；在分布式聚類挖掘方面，提出了分布式聚類算法k-DCBIP，算法結(jié)合向量內(nèi)積知識(shí)，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，并在每次迭

4、代中，對(duì)每個(gè)數(shù)據(jù)點(diǎn)的歸屬作預(yù)判斷，算法可以有效地解決大數(shù)據(jù)集聚類問題；進(jìn)一步，提出基于DBSCAN的分布式密度聚類算法DDBSCAN，算法具有DBSCAN算法的能夠發(fā)現(xiàn)不同形狀聚類、對(duì)噪聲數(shù)據(jù)不敏感、效率高的優(yōu)點(diǎn)，同時(shí)，算法還彌補(bǔ)了DBSCAN算法在擴(kuò)展性和對(duì)高維數(shù)據(jù)適應(yīng)性上的不足。最后，論文對(duì)數(shù)據(jù)流挖掘方法進(jìn)行探討，將數(shù)據(jù)流離群知識(shí)發(fā)現(xiàn)與數(shù)據(jù)流聚類分析問題對(duì)應(yīng)起來，提出了基于k均值分區(qū)的適用于高維數(shù)據(jù)流挖掘的密度聚類算法CLUSMD以