基于WEB訪問日志的異常檢測技術(shù)研究.pdf

1、在網(wǎng)絡(luò)技術(shù)不斷進步地推動下，互聯(lián)網(wǎng)不斷地擴大其作為通訊和商業(yè)媒介的影響力，更在互聯(lián)網(wǎng)企業(yè)創(chuàng)造新興商業(yè)渠道中扮演極為重要的角色?；ヂ?lián)網(wǎng)業(yè)務(wù)需求的迅速增加激勵著企業(yè)和各國政府發(fā)展國際化的復(fù)雜信息網(wǎng)絡(luò)，網(wǎng)絡(luò)技術(shù)與WEB服務(wù)呈現(xiàn)多樣化。然而，黑客技術(shù)不斷進化以及系統(tǒng)安全防護功能不足導(dǎo)致了近兩年網(wǎng)絡(luò)安全事件頻發(fā)，網(wǎng)絡(luò)攻擊數(shù)量不斷上升，網(wǎng)絡(luò)攻擊檢測已成為一個備受關(guān)注的研究課題，檢測和阻止網(wǎng)絡(luò)攻擊的技術(shù)研究工作需要更加深入地展開。
　　今天的商

2、用入侵檢測系統(tǒng)主要是基于簽名的，用于檢測已被識別的攻擊行為，這樣的系統(tǒng)需要頻繁地更新規(guī)則庫和簽名庫，耗時長且不能夠檢測未知攻擊。服務(wù)器內(nèi)部署的大部分檢測系統(tǒng)之間缺乏聯(lián)動機制，并且缺少對大規(guī)模數(shù)據(jù)有效分析的能力，使得數(shù)據(jù)分析難度和耗費時間不斷增加。因此面向應(yīng)用層的異常檢測技術(shù)被廣泛研究，通過分析正常行為的特征模式，構(gòu)建正向安全模型，可以有效識別惡意攻擊行為，由于該類技術(shù)不是基于已有專家知識構(gòu)建的，因此對于挖掘未知的剛絡(luò)攻擊手段、跟蹤新型的

3、木馬行為以及挖掘新型的網(wǎng)絡(luò)漏洞都有著重要的意義。
　　本文的工作以自主研究課題“基于海量日志的WEB行為安全模型研究”中提出的“WEB日志安全智能分析系統(tǒng)”為基礎(chǔ)，該系統(tǒng)主要通過建立多層次的WEB訪問模型對異常行為進行分析研究，挖掘海量訪問日志數(shù)據(jù)之間潛在的關(guān)系。本文主要介紹并研究了多種類型的檢測方式，探討了各種方法和系統(tǒng)的優(yōu)勢及不足，然后利用數(shù)據(jù)挖掘的思想挖掘用戶行為模式。實現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng)中的IP/UA(User Age

4、nt)特征分析和攻擊頻繁模式挖掘兩個模塊的功能，最終通過特征檢測達到識別用戶的異常行為，并對異常進行了類別的劃分。
　　為了滿足功能測試和項目自身的需求，項目組搭建了以Hadoop加ELK為基礎(chǔ)的大數(shù)據(jù)分析平臺。收集了某大型網(wǎng)站群的歷史WEB訪問日志，使用較流行的ElasticSearch平臺達到口志數(shù)據(jù)存儲、管理以及查詢的目的，利用分布式編程模型對大規(guī)模訪問日志進行分布式處理和計算，以求達到支撐歷史數(shù)據(jù)批量分析和實時流量數(shù)據(jù)分析