基于HADOOP的電商實(shí)時(shí)用戶行為分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，“線下線上相結(jié)合”的產(chǎn)業(yè)如雨后春筍般在各行各業(yè)茁壯發(fā)展起來(lái)，各種線下產(chǎn)業(yè)都開始走上線上之路。在此競(jìng)爭(zhēng)日益激烈的背景下，企業(yè)如何抓住市場(chǎng)機(jī)遇，更好的發(fā)展。如何能夠找到更好的突破口，是迫不及待要解決的問(wèn)題。特別是互聯(lián)網(wǎng)下數(shù)據(jù)爆炸式的增長(zhǎng)。每天都會(huì)產(chǎn)生大量的數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為一種資源。它和黃金、能源一樣寶貴。大數(shù)據(jù)已經(jīng)成為企業(yè)的另外一種思維方法。如何能從這些海量數(shù)據(jù)中挖掘價(jià)值信息，成為企業(yè)的重要目標(biāo)。大數(shù)據(jù)給企業(yè)帶來(lái)

2、了新的機(jī)遇，也帶來(lái)了新的挑戰(zhàn)，海量數(shù)據(jù)的存儲(chǔ)，收集，計(jì)算，分析都是需要解決的問(wèn)題。
　　本文分析了國(guó)內(nèi)外一些公司大數(shù)據(jù)背景下用戶行為分析的主流模式，包括相關(guān)理論和流程，并由此提出了在目前電子商務(wù)迅速發(fā)展的背景下，設(shè)計(jì)了一套電子商務(wù)下實(shí)時(shí)的用戶行為分析系統(tǒng)，來(lái)解決企業(yè)面臨的大數(shù)據(jù)的采集，存儲(chǔ)，實(shí)時(shí)分析等方面的技術(shù)問(wèn)題。從而能夠利用時(shí)效性高的特點(diǎn)為企業(yè)搶占先機(jī)，帶來(lái)有效價(jià)值，實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)。
　　電商實(shí)時(shí)用戶行為分析系統(tǒng)基于Had

3、oop[1]和storm開源框架下，使用Java技術(shù)進(jìn)行開發(fā)。系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、和數(shù)據(jù)分析展示層三大模塊。各個(gè)模塊下的子系統(tǒng)互相協(xié)調(diào)，共同實(shí)現(xiàn)了網(wǎng)站用戶數(shù)據(jù)的實(shí)時(shí)分析。該系統(tǒng)具有以下特點(diǎn)：
　　1)利用Hadoop分布式存儲(chǔ)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)；
　　2)流式計(jì)算引擎能夠?qū)W(wǎng)站用戶行為實(shí)時(shí)分析，并生成實(shí)時(shí)結(jié)果數(shù)據(jù)；
　　3)通過(guò)Web前端技術(shù)多維度可視化數(shù)據(jù)展示。
　　目前該系統(tǒng)在上汽某電子商務(wù)有限公司