高維海量數(shù)據(jù)集離群點(diǎn)挖掘算法研究及其應(yīng)用.pdf

1、離群點(diǎn)挖掘是數(shù)據(jù)挖掘的重要研究內(nèi)容之一,其研究目標(biāo)旨在發(fā)現(xiàn)包含在數(shù)據(jù)中的少數(shù)異常而新穎的數(shù)據(jù)分布模式。近年來隨著應(yīng)用的不斷深入而備受數(shù)據(jù)挖掘研究者們的關(guān)注,已經(jīng)成為不斷探索并充滿創(chuàng)新的研究主題。在入侵檢測、風(fēng)險(xiǎn)控制、生物信息學(xué)研究等眾多特殊應(yīng)用領(lǐng)域有著廣泛的應(yīng)用前景。
　　 隨著網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)高速發(fā)展,由此引發(fā)的數(shù)據(jù)爆炸使得面向大規(guī)模高維海量數(shù)據(jù)集的數(shù)據(jù)挖掘研究成為關(guān)鍵,很多原有的算法都不再有效,探索并構(gòu)造具有高性能、高效率的

2、新算法是解決大規(guī)模高維海量數(shù)據(jù)挖掘問題的有效途徑,也是本文開展離群點(diǎn)挖掘問題研究的著眼點(diǎn)和出發(fā)點(diǎn)。
　　 根據(jù)大規(guī)模高維海量數(shù)據(jù)集數(shù)據(jù)分布特點(diǎn),及大規(guī)模高維海量數(shù)據(jù)集挖掘所需解決的問題,本文對離群點(diǎn)的挖掘算法研究現(xiàn)狀和發(fā)展趨勢進(jìn)行了探討和分析,并以大規(guī)模高維海量數(shù)據(jù)作為應(yīng)用環(huán)境,分別探討了基于網(wǎng)格和密度的離群點(diǎn)挖掘、分布式離群點(diǎn)挖掘、增量式離群點(diǎn)挖掘以及基于隱私保護(hù)的離群點(diǎn)挖掘等解決方法.提出了一系列面向大規(guī)模高維海量數(shù)據(jù)集的有

3、效離群點(diǎn)挖掘算法。其中包括:
　　 1、從離群點(diǎn)定義所選擇的使用標(biāo)準(zhǔn)、技術(shù)背景、數(shù)據(jù)源的角度做了深入的分析,提出了離群點(diǎn)挖掘算法構(gòu)造三維空間圖,總結(jié)得出針對大的高維數(shù)據(jù)集的離群點(diǎn)挖掘算法的構(gòu)造以及評判的標(biāo)準(zhǔn)。
　　 2、提出利用信息論中的互信息計(jì)算進(jìn)行特征選擇的方法進(jìn)行降維,并借助LOF算法中局部密度的思想,考慮到局部密度對挖掘效果的影響,將數(shù)據(jù)集D中每一點(diǎn)對點(diǎn)p的影響因子之和用該點(diǎn)的局部密度函數(shù)即D中最靠近該點(diǎn)的n個(gè)數(shù)

4、據(jù)點(diǎn)對它的影響因子之和近似,提出了一種采用核密度函數(shù)的離群點(diǎn)挖掘改進(jìn)算法Improved GridOf。3、采用自適應(yīng)的最優(yōu)分隔面網(wǎng)格劃分,根據(jù)數(shù)據(jù)的分布特點(diǎn)進(jìn)行網(wǎng)格劃分,在子空間找到最人覆蓋的稠密區(qū)域,論證了k維和k-1維稠密區(qū)域的關(guān)系,提出了GDLOF算法,證明了稠密網(wǎng)格和稠密區(qū)域中的點(diǎn)不可能成為離群點(diǎn),由此可從稠密網(wǎng)格和稠密區(qū)域去除了大量的點(diǎn).有效地減少LOF的計(jì)算量,快速挖掘群點(diǎn)。4、引入安全網(wǎng)格、離群網(wǎng)格的概念。采用重心作為代

5、表點(diǎn)和網(wǎng)格7元組,提出了基于網(wǎng)格和密度的海量數(shù)據(jù)增量式離群點(diǎn)挖掘算法IGDLOF,根據(jù)網(wǎng)格的不同特性區(qū)別處理,可避免所有數(shù)據(jù)參與所導(dǎo)致的重復(fù)計(jì)算。在原始的等距離網(wǎng)格劃分的基礎(chǔ)上對網(wǎng)格進(jìn)行合并、分隔等操作,將網(wǎng)格細(xì)分形成的稠密網(wǎng)格所組成的稠密區(qū)域使其更接近_丁聚類,井可考慮邊界和鄰近的點(diǎn),覆蓋的面積大,有效進(jìn)行離群點(diǎn)挖掘。5、提出基于隱私保護(hù)的分布式離群點(diǎn)挖捌算法PPDOM,利用信息論中的熵值作為度量標(biāo)準(zhǔn)挖掘離群點(diǎn),可以避免距離計(jì)算,消除