基于Spark的日志處理引擎設(shè)計(jì)與實(shí)現(xiàn).pdf

1、廈門大學(xué)學(xué)位論丈原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體己經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：多砍2南伽

2、％年f舊習(xí)日摘要當(dāng)前互聯(lián)網(wǎng)行業(yè)迅速發(fā)展，許多互聯(lián)網(wǎng)平臺(tái)每天產(chǎn)生大量訪問日志，能否以及如何從日志中挖掘出極有價(jià)值的信息成為從業(yè)人員關(guān)心的重要方向，但隨著日志數(shù)據(jù)量的不斷增長，依靠通用型單機(jī)分析工具已經(jīng)無法滿足業(yè)務(wù)需要。因此，一個(gè)可滿足各種不同的臨時(shí)搜索分析需求、提供可視化操作界面、定制化日志處理和開放式分析、針對(duì)海量日志的迭代處理和查詢引擎系統(tǒng)的出現(xiàn)成為必要?；谝陨犀F(xiàn)狀，本文設(shè)計(jì)了一個(gè)基于Spark平臺(tái)的分布式日志處理引擎系統(tǒng)，以滿足海

3、量Web訪問日志進(jìn)行定制化處理和開放式分析的需要。系統(tǒng)設(shè)計(jì)了日志采集、日志查詢、日志處理以及系統(tǒng)管理功能。日志采集模塊實(shí)現(xiàn)原始日志文件的采集與預(yù)處理；日志查詢模塊基于Scala的liftWeb框架，通過簡單易用的交互式界面，由業(yè)務(wù)人員根據(jù)業(yè)務(wù)特征自行設(shè)計(jì)日志處理規(guī)則，建立查詢?nèi)蝿?wù)并進(jìn)行數(shù)據(jù)展示；日志處理模塊基于Spark框架的RDD迭代式計(jì)算模型，采用分布式內(nèi)存計(jì)算方式，實(shí)現(xiàn)針對(duì)海量日志的實(shí)時(shí)解析和分析處理；系統(tǒng)管理部分則主要對(duì)配置文件