信息管理系統(tǒng)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)，互聯(lián)網(wǎng)面臨數(shù)以?xún)|計(jì)百億次的用戶(hù)訪問(wèn)，同時(shí)產(chǎn)生了大量記錄用戶(hù)訪問(wèn)信息的日志文件，這些隱藏著用戶(hù)訪問(wèn)規(guī)律的日志信息是一筆非常珍貴的財(cái)富。如何處理這些海量日志數(shù)據(jù)，逐漸成為業(yè)界一大熱門(mén)領(lǐng)域。
　　本文在hadoop平臺(tái)的基礎(chǔ)上，以信息管理系統(tǒng)日志文件為切入點(diǎn)，基于信息管理系統(tǒng)日志文件的特點(diǎn)、日志分析的業(yè)務(wù)特點(diǎn)，設(shè)計(jì)了一種能正確滿(mǎn)足信息管理系統(tǒng)日志分析業(yè)務(wù)需求的軟件架構(gòu)，并闡述了該軟件架構(gòu)的設(shè)計(jì)思想，論述了選擇軟件架構(gòu)的理由。該

2、設(shè)計(jì)在邏輯與功能上將整個(gè)系統(tǒng)設(shè)計(jì)為日志采集、日志存儲(chǔ)、日志處理、處理結(jié)果存儲(chǔ)、結(jié)果展示五個(gè)部分。在面對(duì)海量日志數(shù)據(jù)時(shí)，該設(shè)計(jì)能較好地滿(mǎn)足業(yè)務(wù)與性能需求，同時(shí)具有部件耦合性低，后期維護(hù)簡(jiǎn)單等優(yōu)點(diǎn)。
　　結(jié)合實(shí)際的業(yè)務(wù)需求，以山東大學(xué)研究生管理信息系統(tǒng)為例，本文給出了該軟件結(jié)構(gòu)設(shè)計(jì)的具體軟件實(shí)施方案與核心代碼實(shí)現(xiàn)。在論述系統(tǒng)中日志采集部分的實(shí)現(xiàn)方式時(shí)，比較了Flume與Scribe的異同，介紹了如何配置Tomcat日志與Flume組件

3、，并給出來(lái)具體的配置方案。在講解系統(tǒng)中日志存儲(chǔ)部分的設(shè)計(jì)與實(shí)現(xiàn)時(shí)，論述了選擇HDFS作為存儲(chǔ)方式的理由，并給出了具體實(shí)現(xiàn)。在設(shè)計(jì)實(shí)現(xiàn)系統(tǒng)中日志處理部分時(shí)，結(jié)合日志分析的業(yè)務(wù)特點(diǎn)，詳細(xì)介紹了MapReduce在該系統(tǒng)中如何實(shí)現(xiàn)日志分析，闡述了MapReduce編程模型在處理海量日志文件的優(yōu)勢(shì)，比較了Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)之間的異同。同時(shí)，根據(jù)業(yè)務(wù)設(shè)計(jì)出Hive表結(jié)構(gòu)。在介紹系統(tǒng)中處理結(jié)果存儲(chǔ)部分的實(shí)現(xiàn)方式時(shí)，展示了MySQL數(shù)據(jù)庫(kù)在實(shí)現(xiàn)