多源異構(gòu)日志的數(shù)據(jù)歸并和預(yù)處理技術(shù).pdf

1、網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)是實(shí)現(xiàn)網(wǎng)絡(luò)安全監(jiān)控的一種新技術(shù)，也是目前信息安全的研究熱點(diǎn)之一。網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)從整體的角度審視大規(guī)櫝網(wǎng)絡(luò)的安全狀況，對(duì)網(wǎng)絡(luò)系統(tǒng)中潛在的或已經(jīng)出現(xiàn)的異常做到及時(shí)監(jiān)測(cè)，并能對(duì)未來(lái)一段時(shí)間內(nèi)網(wǎng)絡(luò)的安全狀況做出合理準(zhǔn)確的預(yù)測(cè)。 本文在獲取網(wǎng)絡(luò)安全態(tài)勢(shì)感知需要的數(shù)據(jù)方向進(jìn)行了較全面研究，設(shè)計(jì)了四個(gè)模塊來(lái)完成多源異構(gòu)日志的歸并。 日志采集模塊采集網(wǎng)絡(luò)中所有反映網(wǎng)絡(luò)安全態(tài)勢(shì)信息的日志，包括關(guān)鍵主機(jī)日志(Win

2、dows、Linux)、網(wǎng)絡(luò)數(shù)據(jù)傳輸設(shè)備日志(交換機(jī)、路由器)、網(wǎng)絡(luò)安全設(shè)備日志(硬件防火墻、軟件防火墻)。 日志預(yù)處理模塊利用不同的規(guī)則庫(kù)(Windows、Linux、snort日志)分別對(duì)采集的多源異構(gòu)日志數(shù)據(jù)進(jìn)行預(yù)處理，去除無(wú)用和冗余的信息。 數(shù)據(jù)轉(zhuǎn)換模塊設(shè)計(jì)多源異構(gòu)日志數(shù)據(jù)的xml schema文檔，使用xmlbean技術(shù)對(duì)xml schema文檔進(jìn)行處理，結(jié)合java編程對(duì)經(jīng)過(guò)處理的日志數(shù)據(jù)進(jìn)行轉(zhuǎn)換，經(jīng)過(guò)轉(zhuǎn)換后