多源數(shù)據(jù)采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)安全問(wèn)題越來(lái)越嚴(yán)重，大量的網(wǎng)絡(luò)攻擊監(jiān)控?cái)?shù)據(jù)被采集下來(lái)等待分析。這些數(shù)據(jù)以文本形式被記錄下來(lái)，僅靠人工分析是一項(xiàng)不可能完成的工作。因此急需一套自動(dòng)化分析系統(tǒng)來(lái)對(duì)數(shù)據(jù)定位、統(tǒng)計(jì)、維度計(jì)算等。
　　本系統(tǒng)是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，主要有兩大類(lèi)數(shù)據(jù)：原始數(shù)據(jù)和IP地址庫(kù)（簡(jiǎn)稱(chēng)“IP庫(kù)”）數(shù)據(jù)。這兩類(lèi)數(shù)據(jù)都具有“多源”屬性。原始數(shù)據(jù)的多源性體現(xiàn)在來(lái)自于不同的采集系統(tǒng)，且類(lèi)型不同、格式不同；IP庫(kù)數(shù)據(jù)的多源性體現(xiàn)在三層IP

2、庫(kù)模型。原始數(shù)據(jù)含有基本屬性：SourIP(源IP，受攻擊方)和DestIP(目的IP，攻擊方)，IP庫(kù)數(shù)據(jù)就是對(duì)其進(jìn)行定位。這就是系統(tǒng)的核心功能。
　　面對(duì)海量的原始數(shù)據(jù)，又要求快速精確的維度分析，本文描述了為何要采用分布式系統(tǒng)（Apache Hadoop）加關(guān)系型數(shù)據(jù)庫(kù)（SQL Server）的復(fù)合架構(gòu)，以及如何利用這些技術(shù)來(lái)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)。確切的說(shuō)，就是ETL的建模和實(shí)施是如何進(jìn)行的。
　　首先是原始數(shù)據(jù)的ETL。采集原

3、始文件裝載到Hadoop的HDFS以后，調(diào)用API抽取其數(shù)據(jù)保存到Hive數(shù)據(jù)倉(cāng)庫(kù)中，同時(shí)編寫(xiě)Map-Reduce程序?qū)δ壳耙延械母鞣N格式區(qū)分處理，清洗，歸并，最終加工為“一致”的數(shù)據(jù)，這里所謂的一致的數(shù)據(jù)就是“五元組模型”。
　　其次是IP庫(kù)數(shù)據(jù)的ETL。五元組數(shù)據(jù)以文件的形式傳遞給SQL Server。SQL Server除了要裝載五元組數(shù)據(jù)，還有一類(lèi)重要的字典數(shù)據(jù)，就是IP庫(kù)數(shù)據(jù)。本文描述了如何建設(shè)“三層IP庫(kù)模型”來(lái)滿足不

4、同關(guān)注度的IP精確定位。每一層IP庫(kù)都有關(guān)聯(lián)的建立全國(guó)的行政區(qū)劃庫(kù)與之對(duì)應(yīng)，該庫(kù)至少包含?。ㄖ陛犑校?、市（區(qū)）、區(qū)（縣）三級(jí)的地理區(qū)劃。把采集來(lái)的IP庫(kù)按照三級(jí)區(qū)劃整理好是ETL工作量較大的部分。
　　數(shù)據(jù)倉(cāng)庫(kù)建好以后，采用B/S架構(gòu)的Web界面調(diào)用T-SQL（SQL Server提供的基于SQL的編程語(yǔ)言）存儲(chǔ)過(guò)程對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的內(nèi)容進(jìn)行維度查詢和分析，同時(shí)完成業(yè)務(wù)系統(tǒng)的功能：用戶操作、用戶權(quán)限、用戶管理、數(shù)據(jù)可視化等。提供即席查