大規(guī)模網(wǎng)絡(luò)中誤告警去除和告警聚類方法研究.pdf

1、入侵檢測是網(wǎng)絡(luò)安全防護(hù)的重要技術(shù)，但目前國內(nèi)外相關(guān)工具產(chǎn)生的安全數(shù)據(jù)質(zhì)量很低，需要大量的人工分析。大規(guī)模網(wǎng)絡(luò)中安全數(shù)據(jù)更是數(shù)量巨大，一個(gè)100Mbps接入的網(wǎng)絡(luò)往往每小時(shí)可產(chǎn)生10多萬條告警，人工根本不可能及時(shí)處理。即使安全事件能夠產(chǎn)生告警，也往往湮沒在大量冗余告警中。如何實(shí)時(shí)地去除大量冗余告警，提高告警質(zhì)量是大規(guī)模網(wǎng)絡(luò)安全防護(hù)亟待解決的問題。 告警事件由規(guī)則、源IP、目的IP、源端口和目端口等多個(gè)屬性構(gòu)成。誤告警是網(wǎng)絡(luò)正常活動(dòng)

2、的數(shù)據(jù)包被普適安全規(guī)則匹配而產(chǎn)生的誤判警示，這類告警與真實(shí)告警非常相似，數(shù)量巨大，將給后續(xù)關(guān)聯(lián)分析和攻擊發(fā)現(xiàn)帶來極大的困難。可采用告警規(guī)則優(yōu)化、告警周期發(fā)現(xiàn)和告警聚合等三種方法來去除誤告警，從而大大減少告警的數(shù)量，提高告警的質(zhì)量。 規(guī)則既能夠產(chǎn)生真實(shí)告警也會觸發(fā)誤告警，某些規(guī)則觸發(fā)的大量誤告警會導(dǎo)致安全成本的急劇增加。規(guī)則優(yōu)化模型從經(jīng)濟(jì)效用的角度來分析安全成本與收益之間的平衡關(guān)系。根據(jù)保護(hù)對象的安全需求來優(yōu)化規(guī)則集，決定誤告警概率

3、較大的規(guī)則是否應(yīng)該去除。同時(shí)根據(jù)Bayes網(wǎng)絡(luò)構(gòu)造各個(gè)規(guī)則的誤告警概率信息網(wǎng)，利用先驗(yàn)信息對規(guī)則產(chǎn)生的告警進(jìn)行二次分類，減少誤告警概率。 通過對大規(guī)模網(wǎng)絡(luò)入侵檢測系統(tǒng)的告警數(shù)據(jù)進(jìn)行分析后發(fā)現(xiàn)，一方面某些告警屬性的分布具有明顯的重尾特性；另一方面這些告警的產(chǎn)生還具有周期性。也就是說，某些告警的屬性往往集中在重尾分布的頭部，導(dǎo)致這些告警也往往具有較穩(wěn)定的周期。告警流識別算法能夠根據(jù)重尾分布的特性識別出主要的告警屬性組合，誤告警去除算

4、法根據(jù)自相關(guān)分析和Fouirer分析方法求出各個(gè)屬性組合產(chǎn)生告警的周期，并通過F檢驗(yàn)進(jìn)行確認(rèn)，最后制定相應(yīng)的規(guī)則去除周期性告警。實(shí)驗(yàn)中能夠去除62.5％的原始告警，通過其它相關(guān)分析方法發(fā)現(xiàn)，去除的這些周期性告警都是誤告警。 根據(jù)告警的源地址和目地址屬性模式，可把安全事件分為多對一，一對多和一對一三類。告警聚合根據(jù)這三種模式設(shè)置時(shí)間和數(shù)量閾值，對告警動(dòng)態(tài)地進(jìn)行聚合并產(chǎn)生超級告警。同時(shí)判斷觸發(fā)告警的安全事件類型，提出度量指標(biāo)來評估超