基于距離的離群點檢測方法研究.pdf

1、離群點檢測是數(shù)據(jù)挖掘和數(shù)據(jù)管理領(lǐng)域中一個非常重要的研究問題，其主要目標是從復雜數(shù)據(jù)環(huán)境中快速準確地檢測出數(shù)據(jù)中不符合正常（期望）行為的離群點數(shù)據(jù)，為用戶深入分析和理解數(shù)據(jù)提供支撐。針對待檢測數(shù)據(jù)集的數(shù)據(jù)量大、數(shù)據(jù)維度高、數(shù)據(jù)分布不均衡和數(shù)據(jù)離群程度難以度量等問題，本文主要開展了以下兩個方面的研究工作。
　　1、為了提高對多屬性數(shù)據(jù)集離群點檢測的適應性，提出了一個有效的離群點檢測方法，即基于多屬性聚類和局部密度的離群點檢測方法。該方

2、法首先利用數(shù)據(jù)對象的局部密度峰值確定聚類中心，并利用聚類相異度對數(shù)據(jù)對象的歸屬性進行判斷，將其劃分到由離它最近的聚類中心確定的簇中，從而對數(shù)據(jù)對象進行聚類。其次將歸屬于不同簇且位于簇邊緣的數(shù)據(jù)對象標記成候選離群數(shù)據(jù)集合。最后把候選離群數(shù)據(jù)對象用本文提出的基于多屬性聚類和密度的離群點檢測方法得到其離群點判斷因子，并確定TOPN個候選離群點數(shù)據(jù)對象為最終的離群點。通過真實數(shù)據(jù)集進行實驗，并與經(jīng)典的K?means、DBSCAN和LOF算法進行

3、對比分析，驗證了該方法在多維數(shù)據(jù)集上有較好的離群點檢測效果。
　　2、針對多維數(shù)據(jù)集的數(shù)據(jù)處理時間復雜度高，數(shù)據(jù)的離群點程度難以度量等問題，提出了基于距離加權(quán)和的離群點檢測方法。用一種離群點分類的思想，將數(shù)據(jù)對象直接劃分成離群點和非離群點。該方法首先利用離群點具有偏離總體數(shù)據(jù)集有較遠距離的屬性，將所有數(shù)據(jù)點對象與其鄰域數(shù)據(jù)點的距離進行加權(quán)求和，其次將那些加權(quán)距離和值大的數(shù)據(jù)對象標記為候選離群點，最后將候選的離群點用本文的離群點判斷

4、方法確定是否為最終的確定離群點。通過真實數(shù)據(jù)集進行實驗，并與經(jīng)典的LOF、ABOD和SVM離群點檢測算法進行對比，驗證該方法在時間復雜度和離群點檢測性能上有著明顯的優(yōu)勢。
　　以上是本文提出的兩種算法，第一種方法是間接地從聚類的思想出發(fā)對離群點進行檢測，在檢測率和準確率等指標有很好的性能；第二種是直接地從每個數(shù)據(jù)對象的離群程度出發(fā)，以數(shù)據(jù)點與其鄰域數(shù)據(jù)對象的距離來定義離群程度，該方法在時間復雜度和AUCPR等指標方面有很好的性能。