基于HADOOP架構的社保項目網(wǎng)絡日志分析系統(tǒng)的研究.pdf

1、社會保險業(yè)務作為全國一項基本惠民國策，正在有序而實效的展開。隨著業(yè)務系統(tǒng)的不斷增加，系統(tǒng)需要管理的設備也不斷增加，硬件系統(tǒng)故障也越來越多。查看網(wǎng)絡日志作為一個基本手段，是查看、解決系統(tǒng)故障的重要措施，也是監(jiān)控系統(tǒng)運行狀態(tài)的重要方法。但目前日志信息數(shù)據(jù)量大，難以理解，對系統(tǒng)管理員來說手工查看記錄日志來說，不僅數(shù)據(jù)量太大的問題難以解決，更會直接導致對系統(tǒng)日志中的有用信息難以發(fā)現(xiàn)。
　　本文使用Hadoop分布式計算框架來解決這個問題，

2、利用使用系統(tǒng)自帶的syslog日志進行收集、整理工作。細致對Hadoop分布式框架進行分析，對原有系統(tǒng)syslog文件傳輸進行分析，在此基礎上對原有分布在在各地需要的主機快速有效的收集日志，設計并實現(xiàn)一套基于Hadoop的社保網(wǎng)絡日志分析系統(tǒng)，實現(xiàn)原有syslog日志文件整理、分析。
　　本文綜合考慮到目前社保網(wǎng)絡中的日志特點，使用Hadoop的HDFS分布式文件系統(tǒng)進行搭建環(huán)境，為原系統(tǒng)提供有效、實用、快速的分析結果，使用戶對整