語義屬性數(shù)據(jù)聚類-分類算法及其在異常檢測(cè)中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展、應(yīng)用程度的不斷提高，重要信息系統(tǒng)的安全越來越受到嚴(yán)重威脅，各種網(wǎng)絡(luò)安全事件越發(fā)不可避免，日益嚴(yán)重的網(wǎng)絡(luò)安全危機(jī)甚至已經(jīng)成為危及國家安全的關(guān)鍵因素。對(duì)入侵與攻擊行為的檢測(cè)與防范，保障計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)和整個(gè)信息基礎(chǔ)設(shè)施的安全已經(jīng)成為一項(xiàng)刻不容緩的重要課題。雖然面向小規(guī)模網(wǎng)絡(luò)的異常檢測(cè)技術(shù)相對(duì)比較多，但隨著網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)規(guī)模的不斷增長(zhǎng)，復(fù)雜網(wǎng)絡(luò)行為表現(xiàn)出了許多新的特性，深刻認(rèn)識(shí)網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)中潛在的規(guī)律和特殊性，是不斷改

2、進(jìn)、提高異常檢測(cè)方法性能的前提和基礎(chǔ)，是進(jìn)一步提高入侵檢測(cè)系統(tǒng)的信任度、甚至實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)異常檢測(cè)的關(guān)鍵所在?；谶@樣的認(rèn)識(shí)，論文研究分析了網(wǎng)絡(luò)連接數(shù)據(jù)和異常檢測(cè)樣本數(shù)據(jù)的特點(diǎn)，對(duì)數(shù)據(jù)集提出了一些新見解，認(rèn)識(shí)到了網(wǎng)絡(luò)數(shù)據(jù)中的一些新規(guī)律，以這些新發(fā)現(xiàn)和認(rèn)識(shí)為出發(fā)點(diǎn)進(jìn)行一系列有關(guān)異常檢測(cè)算法的研究、探索，更加明確了本文的研究?jī)?nèi)容和意義。著重研究了以下三方面的問題，主要工作和創(chuàng)新成果一并概括如下：
　　 (1)深入地分析和研究了網(wǎng)絡(luò)數(shù)

3、據(jù)/異常檢測(cè)樣本集(KDD Cup1999)中的新規(guī)律和新特點(diǎn)，如存在著大量的語義屬性數(shù)據(jù)；樣本記錄是異構(gòu)的；數(shù)據(jù)樣本的分布不平衡；數(shù)據(jù)樣本集由大量的同質(zhì)異構(gòu)樣本組成；入侵?jǐn)?shù)據(jù)相對(duì)于正常網(wǎng)絡(luò)數(shù)據(jù)是離群數(shù)據(jù)等。通過對(duì)語義數(shù)據(jù)、異構(gòu)數(shù)據(jù)相異性度量測(cè)度的研究，研究提出了新的度量方法；研究提出了數(shù)據(jù)集中聚類線索的挖掘方法，從樣本組成和維組成兩個(gè)角度挖掘樣本的結(jié)構(gòu)信息，分別提出了語義數(shù)據(jù)的量子聚類算法、離群聚類算法和結(jié)構(gòu)熵聚類算法，并向異構(gòu)數(shù)據(jù)集

4、進(jìn)行了擴(kuò)展。進(jìn)一步進(jìn)行了基于相應(yīng)聚類算法的異常檢測(cè)研究，檢測(cè)方法效果好。
　　 (2)量子力學(xué)是一門研究微觀粒子在能量場(chǎng)中分布的科學(xué)，對(duì)波函數(shù)、量子勢(shì)能、薛定鍔方程以及能量場(chǎng)決定粒子分布的這一量子機(jī)制進(jìn)行了分析研究，指出了這一機(jī)制與數(shù)據(jù)挖掘中的聚類機(jī)制的相似性，從而給出了量子聚類(Quamum Clustering，QC)算法的量子理論依據(jù)；通過用量子力學(xué)中的波函數(shù)推導(dǎo)FCM(Fuzzy c-Means)算法中的模糊相似系數(shù)，給

5、出了一個(gè)FCM算法的量子理論解釋：提出了量子聚類算法中調(diào)節(jié)參數(shù)的一種估算方法，大大地縮短了量子聚類算法的訓(xùn)練時(shí)間；針對(duì)網(wǎng)絡(luò)數(shù)據(jù)中存在大量語義屬性的特點(diǎn)，提出了一種語義屬性數(shù)據(jù)的模糊量子聚類算法；并進(jìn)一步研究提出了基于量子理論的異常檢測(cè)方法。
　　 (3)語義屬性數(shù)據(jù)的內(nèi)積計(jì)算是一個(gè)公認(rèn)的難點(diǎn)問題。通過對(duì)核方法和支撐向量機(jī)中核函數(shù)的分析，提出了一種語義屬性數(shù)據(jù)內(nèi)積計(jì)算的核方法，并擴(kuò)展到異構(gòu)數(shù)據(jù)的內(nèi)積計(jì)算，有效的擴(kuò)展了支撐向量機(jī)的應(yīng)