概念漂移下的數(shù)據流異常點檢測算法研究.pdf

1、異常檢測技術是一種重要的數(shù)據挖掘手段，被廣泛應用于信用卡詐騙檢測、入侵檢測、疾病檢測等各個領域。目前國內外研究學者從距離、密度、聚類等角度出發(fā)，提出了各種異常檢測算法。然而現(xiàn)有的異常檢測算法大都是針對靜態(tài)數(shù)據，隨著大數(shù)據時代的到來，數(shù)據流已經成為了主要的數(shù)據生成形式，如傳感器及信用卡實時交易數(shù)據等。對于這種持續(xù)到達、數(shù)據到達的速度和數(shù)據量都可能是事先未知的、隨時間動態(tài)演化的流式數(shù)據，至今沒有有效的異常檢測方法。
　　本文以數(shù)據流異

2、常檢測為研究對象，主要集中在概念漂移下的數(shù)據流異常檢測。當前的數(shù)據流異常檢測算法大都把傳統(tǒng)的異常檢測算法擴展到數(shù)據流上，或者套用時間窗口模型，只專注于近期數(shù)據，從而簡化數(shù)據流。這些算法不能有效聚焦當前數(shù)據流概念，而且孤立看待數(shù)據流異常，未能考慮其與數(shù)據流概念漂移之間的聯(lián)系?；诋斍皵?shù)據流異常檢測算法的相關問題，本文一方面從數(shù)據流原型學習的角度出發(fā)，提出一種基于原型的數(shù)據流異常檢測算法。它能夠動態(tài)維護數(shù)據流上的重要數(shù)據，從而突破時間窗口模

3、型無法利用歷史數(shù)據的限制。另一方面，本文研究了當前數(shù)據流挖掘模式，并提出一種考慮了數(shù)據流異常檢測與概念漂移之間的互惠性關系的數(shù)據流分類框架。它通過實時刻畫異常程度，融合了數(shù)據流異常檢測和概念漂移檢測這兩個模塊。這兩個算法構成了本文的核心內容，本文的主要貢獻如下：
　　第一，提出基于原型的數(shù)據流異常檢測算法。它基于數(shù)據密度在數(shù)據流上進行原型學習，而后根據同步壓縮等策略動態(tài)維護一個對當前數(shù)據流有重要意義的兩層的數(shù)據集合，并通過距離異常

4、的定義對下一時刻的數(shù)據進行異常判斷。
　　第二，提出考慮異常檢測與概念漂移內在關聯(lián)的數(shù)據流挖掘框架，首先本文設計了一種從數(shù)據壓縮角度出發(fā)的數(shù)據流異常檢測算法和一種動態(tài)捕獲數(shù)據流概念的概念漂移檢測算法，而后通過實時刻畫數(shù)據異常程度，實現(xiàn)兩個算法的耦合，使得異常檢測能夠在不斷更新的概念下工作，同時數(shù)據流學習算法能夠屏蔽異常數(shù)據的影響，相互促進，形成一個良性循環(huán)，達到較高的分類性能。
　　最后本文通過一系列數(shù)據集以及當前流行的數(shù)據