數(shù)據(jù)流異常檢測(cè)技術(shù)研究與應(yīng)用.pdf

1、異常檢測(cè)技術(shù)由于其在網(wǎng)絡(luò)安全、信用欺詐和金融分析等領(lǐng)域的廣泛應(yīng)用,一直都是信息科學(xué)研究領(lǐng)域的關(guān)注重點(diǎn),研究者們將統(tǒng)計(jì)學(xué),數(shù)據(jù)挖掘,信息理論等眾多技術(shù)引入異常檢測(cè)的研究,提出了許多有效的異常檢測(cè)方法。但是隨著社會(huì)信息化程度和數(shù)據(jù)采集自動(dòng)化程度的不斷提高,許多數(shù)據(jù)如商品交易、視屏點(diǎn)播等都以數(shù)據(jù)流的形式出現(xiàn),因此數(shù)據(jù)流作為待分析的動(dòng)態(tài)數(shù)據(jù)集合越來越多地引起研究者和工業(yè)界的關(guān)注。相比傳統(tǒng)的靜態(tài)數(shù)據(jù)集,數(shù)據(jù)流具有海量,無限、多變化(概念漂移)等特

2、點(diǎn),這些特性都對(duì)傳統(tǒng)的異常檢測(cè)方法提出了挑戰(zhàn),其中概念漂移更是給數(shù)據(jù)流異常檢測(cè)方法的有效實(shí)現(xiàn)帶來了極大的困難。如何建立一種基于數(shù)據(jù)流的異常檢測(cè)方法,使得該方法既能體現(xiàn)概念漂移對(duì)異常檢測(cè)模型的影響又能快速有效的進(jìn)行異常檢測(cè),將是一個(gè)重要的研究課題。
　　 本文以數(shù)據(jù)流作為研究對(duì)象,把對(duì)數(shù)據(jù)流概念漂移的處理引入異常檢測(cè)研究領(lǐng)域,通過捕獲和容忍數(shù)據(jù)流的分布變化,提出了一種適合數(shù)據(jù)流應(yīng)用場(chǎng)景的異常檢測(cè)方法,具有較高的應(yīng)用價(jià)值。
　

3、　 本文開篇對(duì)傳統(tǒng)的異常檢測(cè)技術(shù)和現(xiàn)有的數(shù)據(jù)流異常檢測(cè)技術(shù)進(jìn)行了分析,簡要介紹了典型的檢測(cè)方法并給出了自己的見解。在此基礎(chǔ)上,本文提出了一種響應(yīng)式數(shù)據(jù)流異常檢測(cè)方法。該方法首先將有監(jiān)督和無監(jiān)督算法結(jié)合應(yīng)用到數(shù)據(jù)流異常檢測(cè)中,在實(shí)現(xiàn)了未知異常數(shù)據(jù)對(duì)象檢測(cè)的同時(shí)保證了檢測(cè)的效率。針對(duì)數(shù)據(jù)流中概念漂移的難題,引入了概念漂移檢測(cè)和容忍策略來適應(yīng)數(shù)據(jù)流分布的變化。通過訓(xùn)練數(shù)據(jù)選擇、訓(xùn)練數(shù)據(jù)更新和多分類器集成,提高了分類器對(duì)概念漂移的容忍度;通過

4、量化分析和比較數(shù)據(jù)流中不同時(shí)間數(shù)據(jù)對(duì)象集合的整體特征,實(shí)現(xiàn)了概念漂移的檢測(cè),并以此為依據(jù)觸發(fā)異常檢測(cè)模型的更新。實(shí)驗(yàn)表明,本文提出的響應(yīng)式數(shù)據(jù)流異常檢測(cè)方法不但能夠有效地實(shí)現(xiàn)數(shù)據(jù)流的異常檢測(cè),也能夠捕獲數(shù)據(jù)流的概念漂移并及時(shí)更新異常檢測(cè)模型。最后本文嘗試將該方法應(yīng)用于P2P僵尸網(wǎng)絡(luò)檢測(cè)中,通過對(duì)僵尸病毒傳播過程中的P2P僵尸通信進(jìn)行捕獲,輔助實(shí)現(xiàn)網(wǎng)絡(luò)中僵尸主機(jī)的發(fā)現(xiàn),為進(jìn)一步發(fā)現(xiàn)整個(gè)僵尸網(wǎng)絡(luò)提供依據(jù)。實(shí)驗(yàn)表明,本文中提出的數(shù)據(jù)流異常檢測(cè)