基于分布式流計(jì)算的運(yùn)維數(shù)據(jù)分析

1、基于分布式流計(jì)算的運(yùn)維數(shù)據(jù)分析基于分布式流計(jì)算的運(yùn)維數(shù)據(jù)分析陳希楊世登吳志力摘要隨著運(yùn)維領(lǐng)域數(shù)據(jù)采集技術(shù)的不斷更新，出現(xiàn)了大量實(shí)時(shí)的非結(jié)構(gòu)化數(shù)據(jù)，這些實(shí)時(shí)產(chǎn)生的數(shù)據(jù)如同流水一樣源源不斷地流入到數(shù)據(jù)倉庫。如何實(shí)時(shí)獲取運(yùn)維數(shù)據(jù)流中的關(guān)鍵信息，并實(shí)現(xiàn)快速精準(zhǔn)分析至關(guān)重要。單靠當(dāng)前傳統(tǒng)的批處理模式很難實(shí)現(xiàn)。所以，一種全新的分布式流計(jì)算處理模式應(yīng)運(yùn)而生，這種處理模式以其良好的擴(kuò)展性、靈活性、易用性受到業(yè)界的歡迎。本文基于分布式流計(jì)算技術(shù)，采用了插

2、件式可配置的設(shè)計(jì)理念，構(gòu)建了分布式的運(yùn)維分析系統(tǒng)。通過可配置化的資源管理，實(shí)現(xiàn)新的監(jiān)控資源自動注冊、匯總注冊節(jié)點(diǎn)、快速分析、處理、計(jì)算，實(shí)現(xiàn)對運(yùn)維數(shù)據(jù)的實(shí)時(shí)展現(xiàn)?！娟P(guān)鍵詞】運(yùn)維管理數(shù)據(jù)分析分布式流計(jì)算1系統(tǒng)設(shè)計(jì)介紹分布式流計(jì)算系統(tǒng)在各大科技公司擁有無可替代的重要地位，尤其是在在線及近線的海量數(shù)據(jù)處理上。低延時(shí)高可靠是其核心指標(biāo)。Spark是一種支持流式計(jì)算、批處理和實(shí)時(shí)查詢的計(jì)算系統(tǒng)。僅使用一個(gè)通用的stack就能夠解決一系列問題，同時(shí)

3、減少開發(fā)及維護(hù)成本。除了Spark以外，Twitter的Stm也是比較出名的流式計(jì)算系統(tǒng)。1.1Spark的設(shè)計(jì)務(wù)。計(jì)算平臺最重大的意義就在于算法開發(fā)人員無需了解程序的運(yùn)行處理方式，只需提供算法與計(jì)算邏輯即可高速、可靠地處理海量數(shù)據(jù)。流式系統(tǒng)最重要的抽象就是Streaming。那么Steaming如何流動？實(shí)際上這涉及到消息的傳遞和分發(fā)。數(shù)據(jù)如何從一個(gè)節(jié)點(diǎn)傳遞到另外一個(gè)節(jié)點(diǎn)是由拓?fù)涠x的，具體實(shí)現(xiàn)可以參照下一小節(jié)。2消息傳遞和分發(fā)如何設(shè)

4、計(jì)數(shù)據(jù)之間的消息傳遞？通過對比Stm和Spark，我們就能明白消息傳遞和分發(fā)是取決于具體系統(tǒng)來實(shí)現(xiàn)的。2.1Spark的消息傳遞Spark的消息傳遞是通過將用戶定義的數(shù)據(jù)先轉(zhuǎn)換成RDDDAG，由DAGScheduler把RDDDAG轉(zhuǎn)化為StageDAG，每個(gè)Stage中包含了一組相同的Task，這便構(gòu)成了TaskSet，然后TaskSet中的Task被分發(fā)到Execut中去執(zhí)行Stage中包含的算子。最終，轉(zhuǎn)換到開發(fā)人員的工作就是事先

5、定義好一系列的RDD，再在RDD上做相應(yīng)的轉(zhuǎn)化規(guī)則，最后系統(tǒng)會將所有的RDD批量放到Spark集群中去運(yùn)行。2.2Stm的消息傳遞Stm消息傳遞機(jī)制是單獨(dú)用一個(gè)線程負(fù)責(zé)執(zhí)行反序列化并執(zhí)行用戶邏輯，每個(gè)Wker都會有一個(gè)端口，用于監(jiān)聽接收到的消息并放到消息的目標(biāo)Task的反序列化隊(duì)列中。Stm有六種消息分發(fā)模式，分別是ShuffleGrouping、FieldsGrouping、AllGrouping、GlobalGrouping、Non