基于Hadoop的運維日志采集分析平臺的設計與實現(xiàn).pdf

1、隨著云計算和大數(shù)據(jù)技術的發(fā)展，政府和企業(yè)搭建了越來越多的數(shù)據(jù)中心來運行各種各樣的業(yè)務系統(tǒng)。業(yè)務系統(tǒng)規(guī)模迅速增加，節(jié)點數(shù)達到幾萬臺甚至更多，運維日志規(guī)模隨之急劇增加，缺乏有效的分析框架。一直以來日志分析都是反映應用系統(tǒng)的運行狀況和用戶行為的重要途徑，尤其是目前互聯(lián)網(wǎng)技術的發(fā)展，針對日志的分析處理增加了很多的創(chuàng)新方向。但是各業(yè)務系統(tǒng)硬件由多廠家提供，軟件由多家廠商開發(fā)，日志格式及日志形式多種多樣，缺乏統(tǒng)一的接入機制。報警日志大量重復，同一故

2、障引發(fā)系統(tǒng)間日志重復出現(xiàn)，缺乏有效的日志聚類方法。而且對系統(tǒng)產(chǎn)生的運維日志數(shù)據(jù)缺乏關聯(lián)分析和深度利用，運維的智能化程度低。
　　論文工作的主要內(nèi)容是，研究多源異構(gòu)日志加載技術，支持多種格式、各種形態(tài)日志數(shù)據(jù)的分布式統(tǒng)一加載，解決包括關系型數(shù)據(jù)庫數(shù)據(jù)、文本文件數(shù)據(jù)、采集腳本生成數(shù)據(jù)和用戶自定義業(yè)務生成數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)的接入問題。
　　研究分布式計算框架和存儲技術，為上層運維分析業(yè)務提供基礎分布式計算和存儲能力，提供標準化接口

3、，支持運維分析業(yè)務的持續(xù)構(gòu)建。提供統(tǒng)一的數(shù)據(jù)存儲和數(shù)據(jù)管理接口，對運維日志進行離線聚類和在線實時分類處理的能力。
　　研究運維日志關聯(lián)分析技術，對日志、系統(tǒng)指標進行關聯(lián)分析和融合，挖掘關聯(lián)規(guī)則，構(gòu)建關聯(lián)規(guī)則知識庫。對系統(tǒng)運行狀態(tài)和故障進行提前預測，及時發(fā)現(xiàn)系統(tǒng)故障。
　　論文取得的主要成果是基于Hadoop搭建完成了一個分布式日志采集分析平臺，該平臺提供了支持運維大數(shù)據(jù)分析的基礎支撐框架，支持在線和離線的分布式數(shù)據(jù)處理能力，