海量網(wǎng)絡(luò)流量日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨著分布式技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，服務(wù)系統(tǒng)中每天都產(chǎn)生著大量的數(shù)據(jù)日志，隨著數(shù)據(jù)量的與日俱增，基于海量數(shù)據(jù)的數(shù)據(jù)分析方法應(yīng)運(yùn)而生。在傳統(tǒng)的CDN系統(tǒng)中，地域分布廣、網(wǎng)絡(luò)延遲高的特點(diǎn)下，傳統(tǒng)的數(shù)據(jù)分析方法無法滿足現(xiàn)有的需求。在這種巨大的轉(zhuǎn)變之下，產(chǎn)生了分布式節(jié)點(diǎn)架構(gòu)下的海量網(wǎng)絡(luò)流量日志分析系統(tǒng)。
　　本文綜合分析了傳統(tǒng)日志分析系統(tǒng)在CDN系統(tǒng)下的局限性，從而設(shè)計(jì)實(shí)現(xiàn)在分布式架構(gòu)下的海量網(wǎng)絡(luò)流量日志分析系統(tǒng)，這在一定的程度上解決了

2、數(shù)據(jù)量劇增網(wǎng)絡(luò)狀況差的問題，因此，本文的研究更加具有實(shí)用意義。
　　海量網(wǎng)絡(luò)流量日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，日志源來自360直播云CDN日志。系統(tǒng)分為兩個(gè)部分。實(shí)時(shí)統(tǒng)計(jì)分析部分：實(shí)時(shí)統(tǒng)計(jì)分析部分又下設(shè)五個(gè)模塊，分別是日志文件監(jiān)控模塊、業(yè)務(wù)分析模塊、數(shù)據(jù)發(fā)送模塊、中心匯聚模塊與持久化存儲(chǔ)模塊。日志文件監(jiān)控模塊負(fù)責(zé)監(jiān)控單臺(tái)服務(wù)器的日志文件，將日志文件中產(chǎn)生的內(nèi)容同步給業(yè)務(wù)分析模塊。業(yè)務(wù)分析模塊負(fù)責(zé)具體的統(tǒng)計(jì)和分析工作，單個(gè)節(jié)點(diǎn)服務(wù)器的分

3、析結(jié)果通過數(shù)據(jù)發(fā)送模塊發(fā)送到中心匯總服務(wù)器，由中心匯聚模塊進(jìn)行匯聚，然后有持久化存儲(chǔ)模塊進(jìn)行可持續(xù)化存儲(chǔ)，將結(jié)果存儲(chǔ)到中心服務(wù)器的數(shù)據(jù)庫中，等待前端界面展示的時(shí)候調(diào)用。離線拆分合并部分：離線拆分合并部分又包括以下四個(gè)模塊，分別是日志讀取模塊、切割分塊模塊、日志同步模塊與中心匯總排序模塊。日志讀取模塊將日志文件成塊的讀入內(nèi)存，并拆分成行然后交給切割分塊模塊；切割分塊模塊將日志文件按照頻道分類切割到不同文件中，并為每一個(gè)文件建立相應(yīng)的索引文