大數(shù)據(jù)安全運(yùn)維一體化解決方案

1、大數(shù)據(jù)安全運(yùn)維一體化解決方案,數(shù)據(jù)驅(qū)動(dòng)安全,關(guān)于,2,項(xiàng)目背景,隨著IT業(yè)務(wù)和產(chǎn)品服務(wù)的多樣化，使得業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)急劇增長(zhǎng)，同時(shí)所需的設(shè)備數(shù)量和安全設(shè)施也隨之增加。如何能更好的使用這些數(shù)據(jù)，提高處理效率，成了迫在眉睫的任務(wù)，其中首先要實(shí)施的是：安全大數(shù)據(jù)，通過(guò)收集對(duì)應(yīng)各類安全設(shè)備日志與網(wǎng)絡(luò)流信息，清洗歸并，進(jìn)行對(duì)應(yīng)規(guī)則判斷，以及分析建模。應(yīng)用大數(shù)據(jù)，能夠快速而精確地供系統(tǒng)負(fù)責(zé)人查詢到需要的信息與上下文。監(jiān)控大數(shù)據(jù)，收集各類監(jiān)

2、控子系統(tǒng)詳細(xì)事件信息，清洗切分，供搜索與橫向規(guī)則判斷（規(guī)則引擎），并能做對(duì)應(yīng)分析計(jì)算（如監(jiān)控基線）。,目錄 Table of Contents,系統(tǒng)技術(shù)架構(gòu)系統(tǒng)基礎(chǔ)平臺(tái)安全分析,3,運(yùn)維分析應(yīng)用分析成功案例,,系統(tǒng)技術(shù)架構(gòu),大數(shù)據(jù)安全運(yùn)維一體化分析系統(tǒng),大數(shù)據(jù)安全運(yùn)維一體化分析系統(tǒng)，是一款基于大數(shù)據(jù)、機(jī)器學(xué)習(xí)、模式識(shí)別等技術(shù)的企業(yè)級(jí)智能安全運(yùn)維分析平臺(tái)，它具有海量數(shù)據(jù)采集、集中存儲(chǔ)、快速檢索、實(shí)時(shí)分析及告警、可視化展現(xiàn)和報(bào)告等功

3、能。為企業(yè)安全事件及異常行為檢測(cè)、安全態(tài)勢(shì)感知、運(yùn)維管理和應(yīng)用分析提供了一個(gè)智能、高效、可靈活擴(kuò)展的解決方案。 本系統(tǒng)采用旁路快速檢測(cè)方式，是對(duì)現(xiàn)有安全運(yùn)維體系的有效補(bǔ)充，亦可看做下一代的安全信息及事件管理系統(tǒng)和運(yùn)維分析平臺(tái)，并可逐步替代現(xiàn)有分析系統(tǒng)。,技術(shù)架構(gòu),,系統(tǒng)基礎(chǔ)平臺(tái),安全運(yùn)維一體化系統(tǒng)提供完善的資產(chǎn)管理系統(tǒng)，為網(wǎng)絡(luò)中的所有資產(chǎn)建立安全檔案卡，資產(chǎn)信息包括以下信息：基礎(chǔ)信息：資產(chǎn)名稱、IP地址、所屬部門、安全域

4、、設(shè)備類型、地理位置、負(fù)責(zé)人等；安全屬性：可用性、完整性和保密性以及資產(chǎn)價(jià)值；弱點(diǎn)屬性：資產(chǎn)漏洞信息、安全配置信息等；,資產(chǎn)管理,數(shù)據(jù)采集范圍,,,網(wǎng)絡(luò)／安全設(shè)備、主機(jī)操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、應(yīng)用系統(tǒng)；,抽樣網(wǎng)絡(luò)流量：NetFlow信息；,全流量數(shù)據(jù)： 網(wǎng)絡(luò)全流量數(shù)據(jù)包；,日志,網(wǎng)絡(luò)流量,威脅情報(bào),惡意域名和URL、惡意IP地址、DNS信息、木馬病毒信息（MD5/SHA-1）等；,內(nèi)部數(shù)據(jù),外部數(shù)據(jù),數(shù)據(jù)采集方案——日志,

5、,網(wǎng)絡(luò)設(shè)備,安全設(shè)備,數(shù)據(jù)庫(kù),中間件,,Syslog/SNMP,,,數(shù)據(jù)庫(kù)JDBC,,,,日志采集模塊,,安裝Agent,,,,,,,主機(jī)操作系統(tǒng),應(yīng)用系統(tǒng),,FTP/Kafka/HDFS,,,,,,,數(shù)據(jù)采集方案——網(wǎng)絡(luò)流量,,Hansight NC,,NC旁路連接并采集用戶端鏡像網(wǎng)絡(luò)數(shù)據(jù)：1、源IP，目標(biāo)IP2、協(xié)議類型、端口號(hào)3、TCP會(huì)話狀態(tài)信息（建鏈、拆鏈、重傳等）4、報(bào)文尺寸與數(shù)量5、組包和解包6、報(bào)文內(nèi)容解析,

6、,,HanSight安全運(yùn)維分析一體化系統(tǒng)的微服務(wù)構(gòu)架,HanSight安全運(yùn)維分析系統(tǒng)的優(yōu)勢(shì),基于特征庫(kù)／規(guī)則的應(yīng)對(duì)場(chǎng)景比例變小，機(jī)器學(xué)習(xí)輔助成為必須以數(shù)據(jù)驅(qū)動(dòng)安全，實(shí)現(xiàn)：數(shù)據(jù)全方位可見(jiàn)實(shí)時(shí)安全數(shù)據(jù)算法分析加人工輔助適合企業(yè)的安全運(yùn)維一體化策略強(qiáng)大的底層存儲(chǔ)分析架構(gòu)和邏輯引擎,算法分析流程,適合安全分析的無(wú)監(jiān)督學(xué)習(xí)為主有人工輔助的半監(jiān)督學(xué)習(xí) 無(wú)監(jiān)督異常分析 － 人工確定異常 － 產(chǎn)生標(biāo)記樣本 － 半監(jiān)督學(xué)習(xí)

7、,性能基準(zhǔn),入庫(kù)： > 30000EPS實(shí)測(cè)單獨(dú)入庫(kù)最高可接近20000EPS，為保證查詢性能，以當(dāng)前配置可使其較穩(wěn)定運(yùn)行查詢簡(jiǎn)單查詢一天數(shù)據(jù)（~3億條）： < 1s簡(jiǎn)單查詢七天數(shù)據(jù)（~25億條）：< 10s采集器性能單個(gè)采集器讀取文件：~20000EPS （多文件可并行處理）,,安全分析,大數(shù)據(jù)安全分析,,數(shù)據(jù),日志,NetFlow,全流量,威脅情報(bào),資產(chǎn)信息,,實(shí)時(shí)數(shù)據(jù)檢測(cè),關(guān)聯(lián)分析引擎,安全規(guī)則庫(kù)

8、,,歷史數(shù)據(jù)分析,交互分析,異常行為分析,,安全事件,網(wǎng)絡(luò)攻擊,木馬病毒,漏洞利用,非法訪問(wèn),……,,安全告警,高級(jí),中級(jí),低級(jí),,全文檢索,可視化分析,統(tǒng)計(jì)分析,,數(shù)據(jù)建模,機(jī)器學(xué)習(xí),數(shù)據(jù)泄露,病毒爆發(fā),登陸異常,溯源分析,威脅場(chǎng)景還原,戰(zhàn)損分析,處理措施,行為基線,圖分析,威脅情報(bào),,,,安全威脅情報(bào)模塊,大數(shù)據(jù)安全管理平臺(tái),安全威脅情報(bào)公有云,,,,威脅檢測(cè)請(qǐng)求,API調(diào)用,,結(jié)果返回,結(jié)果返回,,,安全威脅情

9、報(bào)私有云,大數(shù)據(jù)安全管理平臺(tái),,,,數(shù)據(jù)擺渡,結(jié)果返回,安全威脅情更新工具,威脅檢測(cè)請(qǐng)求,辦公網(wǎng)環(huán)境,隔離網(wǎng)環(huán)境,實(shí)時(shí)關(guān)聯(lián)分析：大數(shù)據(jù)安全管理平臺(tái)通過(guò)基于Spark Streaming技術(shù)實(shí)現(xiàn)的強(qiáng)大的CEP引擎，對(duì)系統(tǒng)采集的實(shí)時(shí)數(shù)據(jù)流進(jìn)行關(guān)聯(lián)分析。 關(guān)聯(lián)的模式包括統(tǒng)計(jì)關(guān)聯(lián)、資產(chǎn)關(guān)聯(lián)、情報(bào)關(guān)聯(lián)、模式關(guān)聯(lián)、漏洞關(guān)聯(lián)、策略關(guān)聯(lián)等；,實(shí)時(shí)數(shù)據(jù)分析-關(guān)聯(lián)分析,全文檢索：,歷史數(shù)據(jù)分析-交互分析,可視化分析：,統(tǒng)計(jì)分析：,歷史數(shù)據(jù)分

10、析-異常行為分析,UEBA：用戶／實(shí)體異常行為分析：以部門、個(gè)人、資產(chǎn)、資產(chǎn)群等為單位建立行為基線；關(guān)聯(lián)用戶與資產(chǎn)的行為；用機(jī)器學(xué)習(xí)算法或者預(yù)定義規(guī)則找出嚴(yán)重偏離基線的異常行為； 采用技術(shù)：機(jī)器學(xué)習(xí)／基線分析／圖分析：采用無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法；計(jì)算結(jié)果易于可視化，便于理解；覆蓋整個(gè)一片安全事件，不是孤立的點(diǎn)；,機(jī)器學(xué)習(xí)：大數(shù)據(jù)管理平臺(tái)可建立特定的網(wǎng)絡(luò)威脅分析模型，定時(shí)的對(duì)網(wǎng)絡(luò)中的APT攻擊進(jìn)行檢測(cè)分析，如僵尸網(wǎng)絡(luò)、低速掃描、

11、惡意URL分析等,機(jī)器學(xué)習(xí),基線分析：企業(yè)內(nèi)用戶的行為模式，只要所屬部門和角色不變，就不會(huì)發(fā)生太大變化。服務(wù)器或者其他資源也類似。通過(guò)算法把變化幅度量化，數(shù)值超過(guò)基準(zhǔn)過(guò)高的就是異常事件，而安全事件必然是從異常事件開(kāi)始。,基線分析,如：三個(gè)分析維度：郵件、HTTP訪問(wèn)量、登錄。每一個(gè)維度包括總量（柱寬度、維度值分布百分比），右邊是均值的對(duì)比。紅色代表異常。所以第一個(gè)圖表示此用戶郵件發(fā)給 wangjing@163.com 的數(shù)量（寬度）遠(yuǎn)大

12、于當(dāng)天同部門平均值。右邊代表其登錄失敗比例遠(yuǎn)大于同部門平均值。,圖分析,列出單一某個(gè)時(shí)間段系統(tǒng)／用戶（2/1日8:00-9:00）的行為圖下一步的問(wèn)題：2/1日8:00-9:00和平時(shí)8:00-9:00行為有何差異？和其他用戶2/1日8:00-9:00的差異？和整個(gè)一年的8:00和9:00行為有何差異？,,,安全場(chǎng)景（低速掃描）,威脅名稱：低速掃描數(shù)據(jù)輸入：防火墻日志檢測(cè)對(duì)象：重要服務(wù)器長(zhǎng)周期通信模型,分析過(guò)程：用戶

13、自定義需要分析的服務(wù)器和周期；利用多變量時(shí)間序列聚類算法，把源IP按目的端口和目的IP的通訊行為聚合成多類，過(guò)濾無(wú)異常的類；一張圖上可視化每類的每天變化情況，用戶可精確定位到具體IP、目的端口、時(shí)間；,實(shí)際效果：作為用戶每天基本運(yùn)維的內(nèi)容；每個(gè)月發(fā)現(xiàn)約1～2起低速掃描事件；,安全場(chǎng)景（撞庫(kù)攻擊）,威脅名稱：撞庫(kù)攻擊數(shù)據(jù)輸入：網(wǎng)銀應(yīng)用系統(tǒng)訪問(wèn)日志檢測(cè)對(duì)象：網(wǎng)銀近400個(gè)敏感 URL，涵蓋注冊(cè)、登錄、密碼重置等,分析過(guò)程：用戶

14、自定義需要分析的URL；對(duì)這些URL建立ARIMA模型；每天入庫(kù)信息與模型比對(duì)；與模型不匹配則產(chǎn)生預(yù)警信息；用戶根據(jù)預(yù)警進(jìn)一步確認(rèn)；,實(shí)際效果：作為用戶每天基本運(yùn)維的內(nèi)容；目前預(yù)警頻次約2~3次/周；已幫用戶發(fā)現(xiàn)及溯源超過(guò)20次的風(fēng)險(xiǎn)；,安全場(chǎng)景（賬號(hào)異常）,挑戰(zhàn)：隨著移動(dòng)辦公和BYOD的普及，企業(yè)越來(lái)越難從正常的行為找出被盜用的賬號(hào)行為。HanSight解決方法HanSight Enterprise自動(dòng)建立特定用戶

15、的畫像，包括他的合法行為白名單和行為基線用戶行為分析引擎?zhèn)蓽y(cè)用戶的異常行為，例如從可疑位置登錄，或是訪問(wèn)和平時(shí)完全不同的數(shù)據(jù)或數(shù)據(jù)量，或是把數(shù)據(jù)上傳至公司外部的可疑地址系統(tǒng)可以提供該用戶最近的所有行為給安全管理員進(jìn)行進(jìn)一步的詳細(xì)調(diào)查,安全場(chǎng)景（關(guān)聯(lián) URL 訪問(wèn)統(tǒng)計(jì)和基線）,,,,,,,,安全場(chǎng)景（奇異值及請(qǐng)求來(lái)源分析）,,,安全場(chǎng)景（訪問(wèn)時(shí)間線分析）,,,,,,,運(yùn)維分析,監(jiān)控大數(shù)據(jù),監(jiān)控分為系統(tǒng)級(jí)、應(yīng)用級(jí)、業(yè)務(wù)邏輯系統(tǒng)級(jí)： 硬

16、件和網(wǎng)絡(luò)狀況應(yīng)用級(jí)： 應(yīng)用軟件的健康情況業(yè)務(wù)邏輯：業(yè)務(wù)功能和時(shí)間延遲,系統(tǒng)級(jí)監(jiān)控,采集端采集SNMP數(shù)據(jù)系統(tǒng)日志流量數(shù)據(jù)主動(dòng)探測(cè)現(xiàn)有IT監(jiān)控系統(tǒng)如： zabbix, nagios,系統(tǒng)級(jí)監(jiān)控展示（設(shè)備狀態(tài)）,系統(tǒng)級(jí)監(jiān)控展示（網(wǎng)絡(luò)狀態(tài)）,分析告警,單數(shù)據(jù)源簡(jiǎn)單規(guī)則，通過(guò)對(duì)每次最新的監(jiān)控?cái)?shù)據(jù)進(jìn)行閾值比較上下限閾值比較數(shù)據(jù)存活性比較單數(shù)據(jù)源組合規(guī)則，對(duì)簡(jiǎn)單規(guī)則的結(jié)果進(jìn)行進(jìn)一步的處理，來(lái)減少告警量多次告警，當(dāng)觸發(fā)的事件在一

17、段時(shí)間內(nèi)超過(guò)一定的次數(shù)時(shí)告警冷卻，當(dāng)同一告警多次出現(xiàn)時(shí)，進(jìn)行相應(yīng)的冷處理。 變化告警，當(dāng)監(jiān)控?cái)?shù)據(jù)與前一時(shí)間點(diǎn)差別很大時(shí)，進(jìn)行告警。 多數(shù)據(jù)源組合規(guī)則，對(duì)多個(gè)數(shù)據(jù)源進(jìn)行計(jì)算后獲得： 基線告警，當(dāng)數(shù)據(jù)與基線數(shù)據(jù)差別較大時(shí)，進(jìn)行相應(yīng)的告警組合運(yùn)算，可以計(jì)算比例超過(guò)／低于閾值后告警,基線計(jì)算規(guī)則,基線算法以周為單位，尋找前三周相同時(shí)間點(diǎn)為采樣數(shù)據(jù)，計(jì)算當(dāng)前時(shí)間點(diǎn)的基線。具體算法為：以當(dāng)前計(jì)算時(shí)間點(diǎn)為基準(zhǔn)，分別向前倒退7天（一周），1

18、4天（二周），21天（三周），可以得到三個(gè)時(shí)間節(jié)點(diǎn): A1, A2, A3；以每一個(gè)新時(shí)間節(jié)點(diǎn)（A1-A3）為基準(zhǔn)，分別倒退36小時(shí)（A-36h），推前12小時(shí)（A+12h），這樣將得到一個(gè)48小時(shí)的區(qū)間（B0-B39）在這48小時(shí)時(shí)間區(qū)間內(nèi)，再以每一個(gè)小時(shí)為時(shí)間區(qū)間，取48個(gè)采樣值，例如交易量基線，則計(jì)算每小時(shí)交易量的總量數(shù)據(jù)作為該小時(shí)內(nèi)的采樣值通過(guò)計(jì)算A1-A3的采樣值，總計(jì)可以獲取 4

19、8*3=144個(gè)采樣值計(jì)算這144個(gè)采樣值的均值：V 與方差 ：S最后通過(guò)配置浮動(dòng)系數(shù)(α)，求得基線數(shù)據(jù)：V+αS,,應(yīng)用分析,應(yīng)用分析大數(shù)據(jù),應(yīng)用分析根據(jù)來(lái)源可以分為日志數(shù)據(jù)分析和網(wǎng)絡(luò)解包分析日志數(shù)據(jù)分析： 分析應(yīng)用提供的日志數(shù)據(jù)，優(yōu)點(diǎn)是準(zhǔn)確，易于擴(kuò)展，缺點(diǎn)是需要應(yīng)用支持和部署略復(fù)雜網(wǎng)絡(luò)解包分析： 分析網(wǎng)絡(luò)流量中的用戶數(shù)據(jù)，優(yōu)點(diǎn)是對(duì)業(yè)務(wù)無(wú)影響，缺點(diǎn)是開(kāi)發(fā)比較復(fù)雜,數(shù)據(jù)全文檢索/條件檢索,核心SOP交易數(shù)據(jù)

20、分析（交易返回碼和交易量分析）,核心SOP交易數(shù)據(jù)分析（交易成功率分析）,第一步：建立數(shù)據(jù)模型,第二步：發(fā)現(xiàn)可疑號(hào)碼,第三步：鉆取關(guān)聯(lián)分析,黑洞模型：賬戶大量轉(zhuǎn)入交易,火山模型：賬戶大量轉(zhuǎn)出交易,業(yè)務(wù)場(chǎng)景分析 （反欺詐）,威脅名稱：盜用身份證開(kāi)戶及資金轉(zhuǎn)入轉(zhuǎn)出異常數(shù)據(jù)輸入：網(wǎng)銀應(yīng)用系統(tǒng)日志檢測(cè)對(duì)象：網(wǎng)銀資金交易用戶,分析過(guò)程：自定義分析的網(wǎng)銀交易日志周期；將海量用戶手機(jī)號(hào)、賬戶號(hào)和身份證號(hào)碼進(jìn)行關(guān)聯(lián)并可視化展示；發(fā)現(xiàn)盜用大量身

21、份證頻繁開(kāi)戶的用戶；進(jìn)一步鉆取分析，查看到可疑的用戶手機(jī)號(hào)及所有相關(guān)的賬戶和身份證號(hào)；同時(shí)發(fā)現(xiàn)相關(guān)賬戶有金融業(yè)務(wù)風(fēng)險(xiǎn)中的“火山”和“黑洞”情況出現(xiàn)；,實(shí)際效果：作為用戶每天基本運(yùn)維的內(nèi)容；已幫用戶發(fā)現(xiàn)多起賬戶異常交易行為；,分析告警,單數(shù)據(jù)源簡(jiǎn)單規(guī)則，通過(guò)對(duì)每次最新的監(jiān)控?cái)?shù)據(jù)進(jìn)行閾值比較上下限閾值比較數(shù)據(jù)存活性比較單數(shù)據(jù)源組合規(guī)則，對(duì)簡(jiǎn)單規(guī)則的結(jié)果進(jìn)行進(jìn)一步的處理，來(lái)減少告警量多次告警，當(dāng)觸發(fā)的事件在一段時(shí)間內(nèi)超過(guò)一定的次

22、數(shù)時(shí)告警冷卻，當(dāng)同一告警多次出現(xiàn)時(shí)，進(jìn)行相應(yīng)的冷處理。 變化告警，當(dāng)監(jiān)控?cái)?shù)據(jù)與前一時(shí)間點(diǎn)差別很大時(shí)，進(jìn)行告警。 多數(shù)據(jù)源組合規(guī)則，對(duì)多個(gè)數(shù)據(jù)源進(jìn)行計(jì)算后獲得： 基線告警，當(dāng)數(shù)據(jù)與基線數(shù)據(jù)差別較大時(shí)，進(jìn)行相應(yīng)的告警組合運(yùn)算，可以計(jì)算比例超過(guò)／低于閾值后告警,,成功案例,某商業(yè)銀行大數(shù)據(jù)分析案例,“網(wǎng)上銀行系統(tǒng)”作為某商業(yè)銀行最為重要的業(yè)務(wù)系統(tǒng)，每天都會(huì)產(chǎn)生大量日志，遺憾的是由于處理能力所限， 銀行現(xiàn)有HP ArcSight系統(tǒng)只

23、能處理10小時(shí)內(nèi)產(chǎn)生的日志。從而造成銀行無(wú)法對(duì)這些日志進(jìn)行長(zhǎng)周期、大數(shù)據(jù)量的關(guān)聯(lián)分析，進(jìn)而發(fā)現(xiàn)潛在的威脅。銀行急需一個(gè)大數(shù)據(jù)安全分析平臺(tái)，以便對(duì)包括網(wǎng)銀日志及SIEM系統(tǒng)事件進(jìn)行長(zhǎng)周期集中保存，并進(jìn)行關(guān)聯(lián)分析，從長(zhǎng)遠(yuǎn)上，可以對(duì)留存的日志及事件進(jìn)行關(guān)聯(lián)并做長(zhǎng)周期的分析，以便找到安全隱患。,網(wǎng)銀日志每天新增800GB，因ArcSight處理能力所限，只能存儲(chǔ)分析最近10小時(shí)數(shù)據(jù)；已部署的WAF 和ArcSight基于特征碼或規(guī)則進(jìn)行檢測(cè)，

24、缺少對(duì)未知威脅和異常行為分析手段；大量安全事件處理效率低，安全問(wèn)題快速發(fā)現(xiàn)及溯源難；,項(xiàng)目背景：,客戶現(xiàn)狀：,項(xiàng)目需求及階段性實(shí)現(xiàn),大數(shù)據(jù)平臺(tái)搭建IIS／ Apache日志采集分析數(shù)據(jù)源入庫(kù)規(guī)整化全文檢索數(shù)據(jù)可視化數(shù)據(jù)長(zhǎng)周期留存搜索準(zhǔn)實(shí)時(shí)響應(yīng)性能調(diào)優(yōu)平臺(tái)監(jiān)控,異常行為建模定制化圖表需求TOP X HistogramTerm AggsMonitoring運(yùn)維 UI 定制,ArcSight事件數(shù)據(jù)收集及關(guān)聯(lián)分析