基于Hadoop的上網(wǎng)日志目的IP統(tǒng)計(jì)及路由優(yōu)化.pdf

1、網(wǎng)絡(luò)的高速發(fā)展以及大數(shù)據(jù)時(shí)代的來臨，催生了海量網(wǎng)絡(luò)流量數(shù)據(jù)的處理需求。對(duì)網(wǎng)絡(luò)流量進(jìn)行有效、深入的分析，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量的有力監(jiān)管，需要針對(duì)骨干網(wǎng)進(jìn)行網(wǎng)絡(luò)流量日志的高效采集和分析處理。對(duì)網(wǎng)絡(luò)流量日志的統(tǒng)計(jì)分析，可以深入了解網(wǎng)絡(luò)的運(yùn)行及使用狀況，以調(diào)整策略提高網(wǎng)絡(luò)質(zhì)量；對(duì)網(wǎng)絡(luò)流量日志的深入挖掘分析，可以發(fā)現(xiàn)用戶上網(wǎng)特點(diǎn)及偏好，以深入了解用戶需求、高效服務(wù)，提高用戶滿意度。為此，本文對(duì)網(wǎng)絡(luò)流量日志的處理技術(shù)進(jìn)行研究。
　　本文首先闡述基于

2、Hadoop的校園網(wǎng)流量日志目的IP統(tǒng)計(jì)的研究背景及研究意義，綜述國內(nèi)外研究現(xiàn)狀，概述本文的主要工作和主要?jiǎng)?chuàng)新點(diǎn)。
　　隨后，論文研究了關(guān)鍵技術(shù)Hadoop的技術(shù)演進(jìn)路線、Hadoop技術(shù)的生態(tài)系統(tǒng)及關(guān)鍵分布式文件存儲(chǔ)系統(tǒng)HDFS、分布式計(jì)算框架MapReduce。在Hadoop技術(shù)的基礎(chǔ)上，詳細(xì)描述校園網(wǎng)網(wǎng)絡(luò)流量日志的目的IP統(tǒng)計(jì)分析過程及實(shí)現(xiàn)方法，包括Hadoop搭建及配置、校園網(wǎng)用戶上網(wǎng)日志原始數(shù)據(jù)文件預(yù)處理、Hadoop完