面向大數(shù)據(jù)的終端營(yíng)銷分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、通信行業(yè)的發(fā)展正經(jīng)歷從語(yǔ)音經(jīng)營(yíng)向流量經(jīng)營(yíng)、單一業(yè)務(wù)向融合業(yè)務(wù)、移動(dòng)通信向移動(dòng)互聯(lián)網(wǎng)的轉(zhuǎn)型。終端業(yè)務(wù)已經(jīng)發(fā)展為“云-管-端”戰(zhàn)略任務(wù)中的重要環(huán)節(jié)，承擔(dān)了企業(yè)轉(zhuǎn)型任務(wù)的重?fù)?dān)。終端不僅是電信運(yùn)營(yíng)商的資源和營(yíng)收來(lái)源，更是撬動(dòng)增值業(yè)務(wù)迅速發(fā)展和數(shù)據(jù)流量增量且增收的重要杠桿。隨著終端業(yè)務(wù)的不斷發(fā)展，每日將產(chǎn)生與終端業(yè)務(wù)直接相關(guān)的數(shù)據(jù)達(dá)十幾萬(wàn)條，間接相關(guān)的數(shù)據(jù)多達(dá)十幾億條。此時(shí)，已有的終端管理系統(tǒng)已經(jīng)無(wú)法滿足市場(chǎng)部門(mén)對(duì)如此海量數(shù)據(jù)分析處理的需求。

2、r>　　本文首先分析了大數(shù)據(jù)相關(guān)的存儲(chǔ)、處理和分析技術(shù)，確定了系統(tǒng)研發(fā)的技術(shù)路線。通過(guò)對(duì)現(xiàn)有的業(yè)務(wù)系統(tǒng)和市場(chǎng)部門(mén)的調(diào)研，分析了終端管理的業(yè)務(wù)需求以及現(xiàn)有終端管理系統(tǒng)存在的不足，得出了本系統(tǒng)的功能需求?；谛枨蠓治鼋Y(jié)果，從邏輯架構(gòu)、應(yīng)用結(jié)構(gòu)和技術(shù)架構(gòu)給出了本系統(tǒng)的系統(tǒng)架構(gòu)設(shè)計(jì)，確定了與其他業(yè)務(wù)系統(tǒng)的系統(tǒng)邊界。本文介紹了使用的開(kāi)發(fā)技術(shù)和平臺(tái)，給出了大數(shù)據(jù)基礎(chǔ)架構(gòu)模塊和數(shù)據(jù)采集接口的定義與實(shí)現(xiàn)。本系統(tǒng)以Hadoop服務(wù)器集群為基礎(chǔ)；與CRM系

3、統(tǒng)的數(shù)據(jù)交互采用現(xiàn)有的文件接口形式，將終端銷售業(yè)務(wù)數(shù)據(jù)以文件形式保存到HDFS中；使用Sqoop技術(shù)對(duì)于其它業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行采集和存儲(chǔ)；采用Yarn框架實(shí)現(xiàn)對(duì)HDFS中存放的終端營(yíng)銷數(shù)據(jù)進(jìn)行分析處理；通過(guò)HBase、Hive、Thrift和J2EE技術(shù)分別提供對(duì)海量業(yè)務(wù)數(shù)據(jù)的查詢、批處理查詢、編程API和Web訪問(wèn)接口。最后，本文介紹了終端營(yíng)銷分析系統(tǒng)的測(cè)試和試點(diǎn)應(yīng)用情況。本系統(tǒng)以大數(shù)據(jù)基礎(chǔ)架構(gòu)管理為基礎(chǔ)，可實(shí)現(xiàn)平臺(tái)系統(tǒng)的快速部署和