面向移動(dòng)新聞的日志收集分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著智能手機(jī)與移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，傳統(tǒng)新聞門戶網(wǎng)站的業(yè)務(wù)受到了移動(dòng)性與便捷性的多重挑戰(zhàn)。智能手機(jī)憑借其移動(dòng)、便捷等優(yōu)勢(shì)，已發(fā)展成為重要的大眾傳播媒體，成為媒介融合的新平臺(tái)，越來(lái)越多的手機(jī)用戶開(kāi)始選擇使用移動(dòng)新聞客戶端來(lái)實(shí)時(shí)獲取新聞。目前市場(chǎng)上存在多款新聞客戶端APP，激烈的市場(chǎng)競(jìng)爭(zhēng)使得各家廠商在不斷優(yōu)化自身移動(dòng)新聞業(yè)務(wù)的同時(shí)，還開(kāi)始嘗試為用戶提供個(gè)性化的新聞推薦。業(yè)務(wù)的優(yōu)化離不開(kāi)對(duì)于新聞服務(wù)數(shù)據(jù)的對(duì)比分析，而個(gè)性化推薦則需要從用戶使用

2、新聞客戶端時(shí)的行為中分析用戶的偏好?？梢钥吹叫侣効蛻舳说陌l(fā)展離不開(kāi)海量多維度數(shù)據(jù)的支持，因此收集新聞客戶端的業(yè)務(wù)日志并從中挖掘出有價(jià)值的信息便成為了一項(xiàng)非常有意義的工作。
　　針對(duì)新聞客戶端設(shè)計(jì)的日志收集分析系統(tǒng)面臨著許多挑戰(zhàn)，考慮到日志收集分析系統(tǒng)整體需要面臨的數(shù)據(jù)吞吐量，本系統(tǒng)采用了大量分布式框架來(lái)實(shí)現(xiàn)系統(tǒng)的各個(gè)功能，利用Flume、Kafka、Storm和HBase等分別實(shí)現(xiàn)了日志收集、緩存、傳輸、分析與存儲(chǔ)等功能，再考慮到

3、日志收集分析系統(tǒng)在新聞客戶端業(yè)務(wù)中發(fā)揮的重要作用，系統(tǒng)還建設(shè)了完善的監(jiān)控模塊與數(shù)據(jù)展示模塊為業(yè)務(wù)人員提供實(shí)時(shí)的系統(tǒng)監(jiān)控與數(shù)據(jù)展示服務(wù)。
　　本論文所闡述的解決方案來(lái)源于搜狐新聞移動(dòng)客戶端，從實(shí)際業(yè)務(wù)需求出發(fā)從研究背景、技術(shù)選擇、系統(tǒng)架構(gòu)等方面設(shè)計(jì)并實(shí)現(xiàn)了一套基于分布式框架的日志收集分析系統(tǒng)，重點(diǎn)闡述了日志收集、日志分發(fā)、流式處理、系統(tǒng)監(jiān)控和數(shù)據(jù)展示等模塊。本文在實(shí)際開(kāi)發(fā)的基礎(chǔ)上分析了系統(tǒng)的可靠性與實(shí)用性，提出了一套可行的移動(dòng)新聞客