基于數(shù)據(jù)相關性的異常檢測算法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和信息技術的發(fā)展，異常檢測已經(jīng)逐漸成為數(shù)據(jù)挖掘領域的研究熱點。異常檢測旨在檢測出觀測數(shù)據(jù)中的非正常值，被廣泛應用于反信用卡欺詐、網(wǎng)絡入侵檢測、醫(yī)療分析以及氣象預報等領域。在這些領域中，異常數(shù)據(jù)的產(chǎn)生，相對于大量存在的正常數(shù)據(jù)，可以被視作一種隨機現(xiàn)象，它通常不符合正常數(shù)據(jù)的數(shù)據(jù)模式，也不具備正例樣本所具有的數(shù)據(jù)相關性。數(shù)據(jù)的相關性包含數(shù)據(jù)內部樣本屬性之間的相關性以及數(shù)據(jù)樣本間的相關性，即結構相關性。研究如何有效利用正常數(shù)據(jù)

2、和異常數(shù)據(jù)在數(shù)據(jù)相關性上的差異性有助于提高異常檢測性能。
　　為此，本文圍繞數(shù)據(jù)屬性相關性和數(shù)據(jù)結構相關性進行了深入細致的研究，并取得了一定的研究成果。本文的主要研究成果包括:
　　(1)為解決多視角數(shù)據(jù)以及高維數(shù)據(jù)的異常檢測問題，本文從數(shù)據(jù)屬性相關性角度出發(fā)，提出了一種基于隨機相關編碼的異常檢測算法。該算法將高維數(shù)據(jù)隨機劃分為多視角數(shù)據(jù)，并通過隨機典型相關編碼提取多視角數(shù)據(jù)集中不同視角和屬性間的相關性構建RCCE特征空間。

3、在RCCE特征空間基礎上利用基于Rayleigh分布的判決模型對正常數(shù)據(jù)和異常數(shù)據(jù)屬性相關性的差異進行統(tǒng)計分析以實現(xiàn)對測試樣本的集成判決;
　　(2)在異常檢測中，正常數(shù)據(jù)通常具有異常數(shù)據(jù)所不具備的某種數(shù)據(jù)結構相關性，即數(shù)據(jù)的內蘊結構。為此，本文提出了一種新穎的基于標簽傳遞的異常檢測算法。該算法通過圖模型刻畫正常數(shù)據(jù)所具有的內蘊結構，并通過多重標簽傳遞來構建未標記正例樣本與待測試樣本標簽置信度的差異。最后，基于正例樣本的標簽置信度