面向移動新聞的日志收集分析系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、隨著智能手機(jī)與移動互聯(lián)網(wǎng)的快速發(fā)展，傳統(tǒng)新聞門戶網(wǎng)站的業(yè)務(wù)受到了移動性與便捷性的多重挑戰(zhàn)。智能手機(jī)憑借其移動、便捷等優(yōu)勢，已發(fā)展成為重要的大眾傳播媒體，成為媒介融合的新平臺，越來越多的手機(jī)用戶開始選擇使用移動新聞客戶端來實(shí)時獲取新聞。目前市場上存在多款新聞客戶端APP，激烈的市場競爭使得各家廠商在不斷優(yōu)化自身移動新聞業(yè)務(wù)的同時，還開始嘗試為用戶提供個性化的新聞推薦。業(yè)務(wù)的優(yōu)化離不開對于新聞服務(wù)數(shù)據(jù)的對比分析，而個性化推薦則需要從用戶使用

2、新聞客戶端時的行為中分析用戶的偏好?？梢钥吹叫侣効蛻舳说陌l(fā)展離不開海量多維度數(shù)據(jù)的支持，因此收集新聞客戶端的業(yè)務(wù)日志并從中挖掘出有價值的信息便成為了一項(xiàng)非常有意義的工作。
　　針對新聞客戶端設(shè)計的日志收集分析系統(tǒng)面臨著許多挑戰(zhàn)，考慮到日志收集分析系統(tǒng)整體需要面臨的數(shù)據(jù)吞吐量，本系統(tǒng)采用了大量分布式框架來實(shí)現(xiàn)系統(tǒng)的各個功能，利用Flume、Kafka、Storm和HBase等分別實(shí)現(xiàn)了日志收集、緩存、傳輸、分析與存儲等功能，再考慮到

3、日志收集分析系統(tǒng)在新聞客戶端業(yè)務(wù)中發(fā)揮的重要作用，系統(tǒng)還建設(shè)了完善的監(jiān)控模塊與數(shù)據(jù)展示模塊為業(yè)務(wù)人員提供實(shí)時的系統(tǒng)監(jiān)控與數(shù)據(jù)展示服務(wù)。
　　本論文所闡述的解決方案來源于搜狐新聞移動客戶端，從實(shí)際業(yè)務(wù)需求出發(fā)從研究背景、技術(shù)選擇、系統(tǒng)架構(gòu)等方面設(shè)計并實(shí)現(xiàn)了一套基于分布式框架的日志收集分析系統(tǒng)，重點(diǎn)闡述了日志收集、日志分發(fā)、流式處理、系統(tǒng)監(jiān)控和數(shù)據(jù)展示等模塊。本文在實(shí)際開發(fā)的基礎(chǔ)上分析了系統(tǒng)的可靠性與實(shí)用性，提出了一套可行的移動新聞客