基于Storm的大數(shù)據(jù)業(yè)務(wù)層實時監(jiān)控系統(tǒng)研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，加之物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的快速興起，人們的生活已經(jīng)被數(shù)據(jù)所包圍。在騰訊、阿里這樣的互聯(lián)網(wǎng)巨頭公司中，手機QQ、淘寶商城這樣的業(yè)務(wù)，其監(jiān)控服務(wù)日志數(shù)據(jù)，每天都會達到50TB左右。如何對這些監(jiān)控數(shù)據(jù)進行有效的過濾和實時分析，并完成對業(yè)務(wù)的實時監(jiān)控，是一項巨大的挑戰(zhàn)?，F(xiàn)有的監(jiān)控系統(tǒng)大多只提供硬件指標(biāo)的檢測，在業(yè)務(wù)層的監(jiān)控系統(tǒng)也隨著業(yè)務(wù)量的提高，面臨著大數(shù)據(jù)的挑戰(zhàn)。
　　本文針對上述問題，在大數(shù)據(jù)流式計算框

2、架Storm和分布式消息隊列Kafka的基礎(chǔ)上，設(shè)計了一套用于大數(shù)據(jù)業(yè)務(wù)層的通用實時監(jiān)控解決方案。用戶只需要根據(jù)自身的服務(wù)，配置上報的字段屬性和監(jiān)控的規(guī)則，即可實現(xiàn)對服務(wù)的實時監(jiān)控和告警檢測。本文的主要工作及創(chuàng)新點如下：
　?。?）針對現(xiàn)有系統(tǒng)監(jiān)控配置繁瑣，不能可視化的問題，提供統(tǒng)一的Web服務(wù)，使得監(jiān)控的基本信息、輸入字段、處理邏輯、拓?fù)漕A(yù)覽等操作均可進行可視化的操作，將各模塊進行可插拔的設(shè)計和實現(xiàn)，然后根據(jù)頁面的配置信息自動生

3、成監(jiān)控邏輯的代碼，大大降低了監(jiān)控管理配置的復(fù)雜度，解決現(xiàn)有的監(jiān)控系統(tǒng)，在告警配置上的繁瑣、不透明的問題。
　　（2）針對現(xiàn)有監(jiān)控系統(tǒng)誤告率較高的問題，提出了一套監(jiān)控指標(biāo)告警檢測方案，有效的降低了系統(tǒng)的誤告率。方案對歷史數(shù)據(jù)進行數(shù)字特征的計算，并根據(jù)假設(shè)檢驗和聚類得出的結(jié)果進行監(jiān)控采樣點的波動率分析，利用三次指數(shù)平滑法和BP神經(jīng)網(wǎng)絡(luò)法，對歷史數(shù)據(jù)進行分析、建模和預(yù)測。結(jié)合離線計算和實時計算，對監(jiān)控的采樣數(shù)據(jù)進行告警檢測，從而將系統(tǒng)的

4、誤告率從10％降低到1%左右。
　　（3）針對現(xiàn)有系統(tǒng)在大數(shù)據(jù)環(huán)境下傳輸效率低，處理延遲高的問題，將系統(tǒng)分為用戶接口層、數(shù)據(jù)接入/緩存層、實時計算層、離線計算層、數(shù)據(jù)持久化層進行設(shè)計。在數(shù)據(jù)接入層和實時計算層中，將Storm和Kafka進行整合，并進行二次開發(fā)，充分利用Storm低延遲和高并發(fā)的特性，并利用ProtocolBuffer對消息進行序列化的編碼壓縮，從而提高系統(tǒng)的傳輸和處理效率，解決現(xiàn)有的監(jiān)控系統(tǒng)無法滿足在大數(shù)據(jù)環(huán)境下