基于采樣特異性因子的實(shí)時(shí)異常檢測(cè).pdf

1、隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)的發(fā)展，各個(gè)領(lǐng)域的信息量急劇增加，數(shù)據(jù)挖掘處理的數(shù)據(jù)規(guī)模越來(lái)越大，同時(shí)對(duì)數(shù)據(jù)實(shí)時(shí)處理需求不斷增加。特異性數(shù)據(jù)挖掘是數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的重要組成部分，特異性數(shù)據(jù)中往往蘊(yùn)含著重要信息，包括噪音、故障、入侵等，隨著人們對(duì)欺詐檢測(cè)、網(wǎng)絡(luò)入侵、故障診斷等問(wèn)題的關(guān)注，實(shí)時(shí)異常檢測(cè)日益受到重視。
　　 異常檢測(cè)技術(shù)有基于統(tǒng)計(jì)、聚類(lèi)、距離、密度等方法，在精度和速度要求都比較高的場(chǎng)合下，這些方法均有一定的局限性?；诖?，本文

2、使用采樣特異性因子(sample peculiarity factor，SPF)將基于距離和密度的方法融合起來(lái)，并充分考慮數(shù)據(jù)分布的特點(diǎn)，進(jìn)行異常檢測(cè)。實(shí)驗(yàn)結(jié)果表明基于采樣特異性因子SPF的異常檢測(cè)算法在精度影響不大的情況下，節(jié)約了計(jì)算時(shí)間，提高了計(jì)算速度，適合用于實(shí)時(shí)異常檢測(cè)。
　　 論文的主要工作：
　　 (1)從數(shù)理統(tǒng)計(jì)的角度，分析采樣方法的異常檢測(cè)算法，并為其提供精度保證。將采樣算法與傳統(tǒng)的基于距離K-NN算法相

3、結(jié)合，通過(guò)分析采樣算法返回的離群點(diǎn)的期望和方差進(jìn)行質(zhì)量度量，并構(gòu)造距離數(shù)據(jù)庫(kù)D’近似計(jì)算總體的情況，即用樣本方差估計(jì)總體方差，從而給基于采樣特異性因子的異常檢測(cè)提供了理論基礎(chǔ)。
　　 (2)提出了學(xué)習(xí)最優(yōu)采樣頻率算法。論文通過(guò)選擇一定的采樣方法，在數(shù)據(jù)集中折半學(xué)習(xí)采樣頻率，在給定置信度的前提下得到采樣頻率的置信區(qū)間，即最優(yōu)采樣頻率范圍。這樣就可以根據(jù)采樣頻率，獲取采樣子集，進(jìn)行異常檢測(cè)。實(shí)驗(yàn)表明，當(dāng)采樣頻率在[1/32，1/16

4、]之間時(shí)，將基于采樣特異性因子的異常檢測(cè)算法與基于特異性因子和局部特異性因子的異常檢測(cè)的算法進(jìn)行比較，在精度影響不大的情況下，前者明顯提高了計(jì)算速度。
　　 (3)使用采樣特異性因子和采樣頻率進(jìn)行實(shí)時(shí)異常檢測(cè)。首先將原始數(shù)據(jù)集分成正常數(shù)據(jù)集(Normal Dataset)和異常數(shù)據(jù)集(Anomalous Dataset)兩類(lèi)；然后在正常數(shù)據(jù)集中學(xué)習(xí)最優(yōu)采樣頻率，獲取采樣子集；在實(shí)時(shí)處理時(shí)，僅需計(jì)算當(dāng)前數(shù)據(jù)的SPF值，使用排名對(duì)比