基于統(tǒng)計(jì)的網(wǎng)絡(luò)流量異常檢測(cè)技術(shù)研究.pdf

1、網(wǎng)絡(luò)流量異常指的是流量偏離正常模型。引起流量異常的原因有很多,比如惡意攻擊、網(wǎng)絡(luò)設(shè)備故障、正常的突發(fā)用戶行為等。網(wǎng)絡(luò)異常檢測(cè)的目的就是及時(shí)檢測(cè)出異常的發(fā)生,便于網(wǎng)絡(luò)管理員采取相應(yīng)措施以保證網(wǎng)絡(luò)的正常運(yùn)行和服務(wù)質(zhì)量。目前網(wǎng)絡(luò)異常的檢測(cè)方法主要有:基于統(tǒng)計(jì)的方法、基于數(shù)據(jù)流的方法和基于機(jī)器學(xué)習(xí)的方法。由于基于統(tǒng)計(jì)的方法有諸多優(yōu)勢(shì),所以本文重點(diǎn)研究了這種方法。具體來(lái)說(shuō)是三種統(tǒng)計(jì)方法:基于流獨(dú)立性和穩(wěn)態(tài)性的短時(shí)非相關(guān)流平衡性(ASTUTE:A

2、Short-Timescale Uncorrelated-Traffic Equilibrium)方法、基于卡爾曼(Kalman)濾波的方法和基于時(shí)間序列預(yù)測(cè)的指數(shù)加權(quán)滑動(dòng)平均(Exponentially Weighted Moving Average:EWMA)方法。
　　從另一個(gè)角度看,網(wǎng)絡(luò)異常檢測(cè)方法又可以分為兩類(lèi):基于流量大小(volume)改變的檢測(cè)方法和基于流量特征分布(traffic feature distribu

3、tion)改變的檢測(cè)方法。其中基于流量特征分布改變的檢測(cè)方法更具優(yōu)勢(shì),一般會(huì)用信息熵來(lái)度量其改變。本文用EWMA算法分別實(shí)現(xiàn)了這兩種方法。
　　經(jīng)調(diào)研發(fā)現(xiàn),網(wǎng)絡(luò)異常流量檢測(cè)研究領(lǐng)域存在兩個(gè)問(wèn)題:一是網(wǎng)絡(luò)流量和異常事件的種類(lèi)是多種多樣的,沒(méi)有一個(gè)通用的檢測(cè)器適用于所有的場(chǎng)景,所以需要明確哪一個(gè)檢測(cè)器適用于哪一種場(chǎng)景;二是檢測(cè)閾值的設(shè)置目前是憑借經(jīng)驗(yàn)或者理論,但基本為固定閾值,自適應(yīng)調(diào)節(jié)閾值仍然是一個(gè)難題。
　　本文研究并實(shí)現(xiàn)了

4、ASTUTE、Kalman、EWMA(基于流量大小和基于流量特征)算法,并用兩種數(shù)據(jù)源:作了標(biāo)注的MAWI Lab數(shù)據(jù)集和在本地主機(jī)上通過(guò) wireshark采集的數(shù)據(jù)集,做了大量實(shí)驗(yàn)。本文仔細(xì)分析了實(shí)驗(yàn)結(jié)果,并對(duì)算法檢測(cè)到的異常事件做了人工根因分析。實(shí)驗(yàn)結(jié)果表明:上述三種方法可以檢測(cè)出的異常種類(lèi)并不相同,ASTUTE算法擅長(zhǎng)檢測(cè)產(chǎn)生許多小IP流的異常,而Kalman和EWMA算法擅長(zhǎng)檢測(cè)產(chǎn)生少量的大IP流的異常。基于實(shí)驗(yàn)結(jié)果分析,本文