基于Hadoop的運(yùn)維日志采集分析平臺的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展，政府和企業(yè)搭建了越來越多的數(shù)據(jù)中心來運(yùn)行各種各樣的業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)規(guī)模迅速增加，節(jié)點(diǎn)數(shù)達(dá)到幾萬臺甚至更多，運(yùn)維日志規(guī)模隨之急劇增加，缺乏有效的分析框架。一直以來日志分析都是反映應(yīng)用系統(tǒng)的運(yùn)行狀況和用戶行為的重要途徑，尤其是目前互聯(lián)網(wǎng)技術(shù)的發(fā)展，針對日志的分析處理增加了很多的創(chuàng)新方向。但是各業(yè)務(wù)系統(tǒng)硬件由多廠家提供，軟件由多家廠商開發(fā)，日志格式及日志形式多種多樣，缺乏統(tǒng)一的接入機(jī)制。報(bào)警日志大量重復(fù)，同一故

2、障引發(fā)系統(tǒng)間日志重復(fù)出現(xiàn)，缺乏有效的日志聚類方法。而且對系統(tǒng)產(chǎn)生的運(yùn)維日志數(shù)據(jù)缺乏關(guān)聯(lián)分析和深度利用，運(yùn)維的智能化程度低。
　　論文工作的主要內(nèi)容是，研究多源異構(gòu)日志加載技術(shù)，支持多種格式、各種形態(tài)日志數(shù)據(jù)的分布式統(tǒng)一加載，解決包括關(guān)系型數(shù)據(jù)庫數(shù)據(jù)、文本文件數(shù)據(jù)、采集腳本生成數(shù)據(jù)和用戶自定義業(yè)務(wù)生成數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)的接入問題。
　　研究分布式計(jì)算框架和存儲技術(shù)，為上層運(yùn)維分析業(yè)務(wù)提供基礎(chǔ)分布式計(jì)算和存儲能力，提供標(biāo)準(zhǔn)化接口

3、，支持運(yùn)維分析業(yè)務(wù)的持續(xù)構(gòu)建。提供統(tǒng)一的數(shù)據(jù)存儲和數(shù)據(jù)管理接口，對運(yùn)維日志進(jìn)行離線聚類和在線實(shí)時分類處理的能力。
　　研究運(yùn)維日志關(guān)聯(lián)分析技術(shù)，對日志、系統(tǒng)指標(biāo)進(jìn)行關(guān)聯(lián)分析和融合，挖掘關(guān)聯(lián)規(guī)則，構(gòu)建關(guān)聯(lián)規(guī)則知識庫。對系統(tǒng)運(yùn)行狀態(tài)和故障進(jìn)行提前預(yù)測，及時發(fā)現(xiàn)系統(tǒng)故障。
　　論文取得的主要成果是基于Hadoop搭建完成了一個分布式日志采集分析平臺，該平臺提供了支持運(yùn)維大數(shù)據(jù)分析的基礎(chǔ)支撐框架，支持在線和離線的分布式數(shù)據(jù)處理能力，