基于密度差異的離群點(diǎn)檢測(cè)研究.pdf

1、近年來(lái)，信息技術(shù)高速發(fā)展，數(shù)據(jù)采集和存儲(chǔ)技術(shù)不斷進(jìn)步，無(wú)論企業(yè)、科研機(jī)構(gòu)、政府機(jī)關(guān)等都積累了大量且結(jié)構(gòu)復(fù)雜的數(shù)據(jù)。在獲得海量數(shù)據(jù)的同時(shí)，如何從中快速、有效地提取有價(jià)值的知識(shí)是近年的研究熱點(diǎn)，而數(shù)據(jù)挖掘就是提取潛在有價(jià)值知識(shí)的有效技術(shù)。隨著挖掘異常數(shù)據(jù)必要性的增加，離群數(shù)據(jù)挖掘任務(wù)越來(lái)越受到廣泛關(guān)注。如網(wǎng)絡(luò)入侵檢測(cè)、病例研究、商業(yè)分析等，罕見(jiàn)事件往往比普遍的事件更具有價(jià)值，這表明某些離群數(shù)據(jù)本身并非錯(cuò)誤，這些數(shù)據(jù)常常蘊(yùn)含著非常有意義的知識(shí)

2、。因此，檢測(cè)離群數(shù)據(jù)成為許多領(lǐng)域的研究熱點(diǎn)。
　　現(xiàn)有的離群點(diǎn)檢測(cè)算法大致可以分為以下幾類(lèi):基于分布的、基于距離的、基于深度的、基于密度的以及基于聚類(lèi)的離群點(diǎn)檢測(cè)算法?；诿芏鹊木植侩x群點(diǎn)檢測(cè)算法，并非將離群點(diǎn)看作一種“非此即彼”的二元性質(zhì)，而是評(píng)估一個(gè)對(duì)象是離群點(diǎn)的程度?；诿芏鹊碾x群點(diǎn)檢測(cè)算法具有更廣泛的應(yīng)用前景。
　　本論文主要研究基于密度的局部離群點(diǎn)和集體離群點(diǎn)檢測(cè)算法。通過(guò)分析研究已有的基于密度差異的局部離群點(diǎn)檢測(cè)

3、方法，提出了基于屬性密度差異的局部離群點(diǎn)檢測(cè)算法;分析集體離群點(diǎn)，將聚類(lèi)思想引入基于屬性密度差異的集體離群點(diǎn)檢測(cè)算法，并改進(jìn)離群因子計(jì)算方法。具體內(nèi)容如下:
　　針對(duì)局部離群點(diǎn)檢測(cè)，基于屬性密度差異的離群點(diǎn)檢測(cè)算法考慮不同屬性對(duì)離群性作用的差異性，利用信息熵確定離群屬性，為數(shù)據(jù)點(diǎn)計(jì)算加權(quán)距離，并給離群屬性賦予較大的權(quán)重。在處理高維數(shù)據(jù)時(shí)，確定次要屬性后采用屬性約簡(jiǎn)方法，在保證檢測(cè)精度的同時(shí)降低計(jì)算復(fù)雜度。理論分析和實(shí)驗(yàn)表明，該改進(jìn)

4、算法能更準(zhǔn)確估計(jì)數(shù)據(jù)密度，參數(shù)少，能很好地適用于高維數(shù)據(jù)，整體性能優(yōu)于同類(lèi)算法。
　　針對(duì)集體離群點(diǎn)檢測(cè)，引入聚類(lèi)思想明確數(shù)據(jù)集的結(jié)構(gòu)特點(diǎn)，在應(yīng)用基于屬性密度差異的離群點(diǎn)檢測(cè)算法估計(jì)初始聚類(lèi)中心后，應(yīng)用FCM形成聚類(lèi)簇，然后通過(guò)一定規(guī)則區(qū)分大簇和小簇，最后利用改進(jìn)的因子計(jì)算方法計(jì)算基于密度的離群因子DBLOF。算法認(rèn)為小簇更有可能是集體離群點(diǎn)，聚類(lèi)的主要目的是得出離群簇偏離聚類(lèi)簇的知識(shí)。實(shí)驗(yàn)證明，在檢測(cè)集體離群點(diǎn)時(shí)，該算法性能比較