離群檢測與離群釋義算法研究.pdf

1、離群數(shù)據(jù)就是相對于大量常規(guī)數(shù)據(jù)而表現(xiàn)出異常數(shù)據(jù)模式的數(shù)據(jù)點。許多數(shù)據(jù)挖掘方法致力于減少離群數(shù)據(jù)的影響或者將它們徹底清除，這樣處理可能導致隱藏在離群數(shù)據(jù)內(nèi)部有用信息的丟失。離群檢測就是利用數(shù)據(jù)挖掘、機器學習、統(tǒng)計學、智能計算、可視化技術(shù)等數(shù)據(jù)處理技術(shù)來發(fā)現(xiàn)數(shù)據(jù)集中的離群數(shù)據(jù)和產(chǎn)生這些數(shù)據(jù)的機制，為用戶提供對數(shù)據(jù)深入的分析。
　　離群數(shù)據(jù)檢測目前已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中一個重要的的研究方向，近年來取得了豐富的成果并開始成功地運用于多種領(lǐng)

2、域，尤其是用于檢測數(shù)據(jù)集中非理性的或異常性的數(shù)據(jù)行為，如金融欺詐檢測、網(wǎng)絡(luò)入侵與異常檢測、過程監(jiān)控與識別、超譜圖像異常檢測、醫(yī)學非正常反應(yīng)分析、異常信號檢測等領(lǐng)域，因此離群數(shù)據(jù)檢測與分析具有十分重要的學術(shù)意義和廣闊的應(yīng)用前景。然而，面對日益復雜的海量高維數(shù)據(jù)集，如何快速準確地檢測出異常數(shù)據(jù)并分析導致異常的原因（離群釋義）成為一個具有挑戰(zhàn)性的課題。
　　本文對離群檢測和離群釋義中的相關(guān)理論和方法進行了研究，并做了實驗進行驗證。論文的

3、主要工作和成果如下：
　　①對基于聚類的離群檢測算法中的真實聚類數(shù)目選擇對離群檢測的效果影響做了分析與研究，并提出了基于自動聚類方法的離群檢測算法。本文提出的算法分析兩階段，第一階段為聚類，第二階段為離群檢測。在第一階段中，首先利用減法聚類方法獲取真實聚類數(shù)目的粗略估計值，然后利用聚類驗證指標作為聚類評價的標準，并搜索最優(yōu)聚類數(shù)目，利用獲得的最優(yōu)聚類數(shù)目進行聚類。在第二階段中，利用聚類結(jié)果結(jié)合基于聚類的離群因子定義進行離群檢測，將

4、每個數(shù)據(jù)對象的離群因子作為離群度量。本算法通過獲取最優(yōu)聚類數(shù)目對提高離群檢測的效果有明顯提高。
　?、卺槍︻悇e屬性數(shù)據(jù)集無法使用連續(xù)數(shù)值型的離群檢測方法，本文提出一種基于云模型的離群檢測算法。首先利用云模型的前向云生成算法，將每行記錄轉(zhuǎn)換成“云滴”，然后根據(jù)“云滴”隸屬于云模型的確定值作為離群度量?；谠颇Ｐ偷碾x群檢測算法可以采用無監(jiān)督和監(jiān)督的模式進行。
　?、坩槍﹄x群釋義進行了初步研究，提出如果在全屬性空間中的某些屬性子集

5、上能夠發(fā)現(xiàn)與全屬性空間中發(fā)現(xiàn)的離群數(shù)據(jù)接近，稱這樣的屬性子集為離群釋義子空間。離群釋義子空間是離群釋義研究中的一個方面，能夠部分解釋產(chǎn)生離群數(shù)據(jù)的原因；另外對于以后海量數(shù)據(jù)檢測離群數(shù)據(jù)，可以直接在離群子空間上進行。由于查找離群子空間的時間復雜較高，本文提出一種基于冪圖剪枝的離群子空間搜索算法，并基于粗糙集的概念提出基于屬性約簡的離群檢測方法，并通過實驗驗證其有效性。
　?、茚槍﹄x群釋義子空間進一步進行分析，提出離群關(guān)鍵子空間的概念