基于流式處理技術(shù)的日志分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、近幾年，隨著移動互聯(lián)網(wǎng)的快速發(fā)展，海量日志數(shù)據(jù)的產(chǎn)生變得越來越容易。同時支撐互聯(lián)網(wǎng)公司的分布式系統(tǒng)復(fù)雜性越來越高，各種服務(wù)通常都是部署在大規(guī)模分布式的集群上。而這些應(yīng)用服務(wù)都是一個個獨立的軟件模塊，這些軟件模塊可能是由多個不同的團(tuán)隊開發(fā)的，使用的編程語言都是不盡相同的，部署分布在幾百甚至是幾千臺服務(wù)器，橫跨多個數(shù)據(jù)中心機(jī)房。一旦其中一個或多個服務(wù)出現(xiàn)問題，在運行環(huán)境中進(jìn)行問題追蹤的困難程度可想而知，需要跨部門溝通與協(xié)調(diào)，甚至還要在多個軟

2、件模塊服務(wù)的各個環(huán)節(jié)去排查問題。在系統(tǒng)運行中出現(xiàn)問題需要在短時間內(nèi)定位問題，并解決問題。為了解決上述問題，就需要可以幫助理解與分析系統(tǒng)行為與性能的工具，國內(nèi)外各大公司都在做APM(Application Performance Monitor)相關(guān)的系統(tǒng)，如國外的New Relic、Splunk,國內(nèi)的淘寶鷹眼、大眾點評的CAT等。本文就是基于上面的問題來開發(fā)實現(xiàn)一套類似的APM系統(tǒng)。
　　本文采用準(zhǔn)實時流框架Spark Stre

3、aming進(jìn)行各維度的日志分析計算，將計算結(jié)果通過時間序列存儲數(shù)據(jù)庫OpenTSDB寫入Hbase，最終將數(shù)據(jù)以各種圖報表形式展現(xiàn)。通過這些數(shù)據(jù)，應(yīng)用開發(fā)以及運維監(jiān)控人員可以查看各自關(guān)注的數(shù)據(jù)以及快速定位問題，提高工作效率，將更多經(jīng)歷放在產(chǎn)品業(yè)務(wù)上。也給管理者的決策提供依據(jù)。
　　本文的研究工作主要有以下幾個方面：
　　1.日志分析應(yīng)用系統(tǒng)的架構(gòu)與設(shè)計。本文對應(yīng)用日志處理系統(tǒng)進(jìn)行了需求分析，分?jǐn)?shù)據(jù)流處理層、數(shù)據(jù)存儲層、API

4、服務(wù)層，對涉及的技術(shù)方案進(jìn)行了選擇、分析到設(shè)計，包括流式處理的計算框架、時間序列化的存儲中間件、方便有效讀取數(shù)據(jù)的API以及Redis緩存的使用等；設(shè)計的應(yīng)用日志分析系統(tǒng)能夠高效快速的處理數(shù)據(jù)，更關(guān)注系統(tǒng)的可用性、及時性以及擴(kuò)展性。
　　2.對restful以及gateway類型的url數(shù)據(jù)的清洗。本文應(yīng)用日志有些域包含大量的url，這些url中也包括一些無用的、用戶不關(guān)心的以及惡意訪問的，若這些都保存起來，會給后面的查詢效率帶來

5、一些影響，對這些url的清洗很有必要，所以需要進(jìn)行一些歸類過濾處理。
　　3.日志分析應(yīng)用系統(tǒng)的實現(xiàn)及驗證。本文采用流式技術(shù)完成了數(shù)據(jù)的計算，時間序列化數(shù)據(jù)庫進(jìn)行存儲，友好的Restful API進(jìn)行數(shù)據(jù)讀取，通過前端展現(xiàn)技術(shù)進(jìn)行圖表展示。
　　系統(tǒng)已在互聯(lián)網(wǎng)公司運行使用半年多。驗證了日志處理應(yīng)用系統(tǒng)在日均處理幾十TB的大批量數(shù)據(jù)流下從計算到展示的流暢性、數(shù)據(jù)準(zhǔn)確性，在大促高峰期經(jīng)受住了考驗。系統(tǒng)在1分鐘內(nèi)顯示各個應(yīng)用的運行