電商流量大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與開發(fā).pdf

1、計(jì)算機(jī)技術(shù)的發(fā)展和互聯(lián)網(wǎng)的日益普及，使得電子商務(wù)飛速發(fā)展，電商企業(yè)不斷涌現(xiàn)，用戶數(shù)量成倍增加，導(dǎo)致電商網(wǎng)站的多源流量數(shù)據(jù)也隨之快速攀升。傳統(tǒng)的電商流量數(shù)據(jù)處理方式存儲(chǔ)數(shù)據(jù)量有限，支持的數(shù)據(jù)源格式少，亟需引入現(xiàn)代化的電商流量大數(shù)據(jù)處理系統(tǒng)，以滿足企業(yè)流量數(shù)據(jù)處理的需求。論文基于Hadoop技術(shù)和Elasticsearch技術(shù)，設(shè)計(jì)并開發(fā)電商流量大數(shù)據(jù)處理系統(tǒng)，實(shí)現(xiàn)海量電商流量原始數(shù)據(jù)的快速提取、轉(zhuǎn)化、加載和管理，最終計(jì)算得到電商網(wǎng)站的頁(yè)面

2、點(diǎn)擊量、獨(dú)立訪客數(shù)、頁(yè)面轉(zhuǎn)化率、頁(yè)面跳出率、頁(yè)面導(dǎo)出率等流量指標(biāo)。論文主要工作如下：
　　1.在文獻(xiàn)查閱的基礎(chǔ)上，綜述了論文研究背景與意義，以及電商流量數(shù)據(jù)處理的國(guó)內(nèi)外現(xiàn)狀，詳細(xì)介紹Elasticsearch中的搜索引擎Lucene和分布式存儲(chǔ)技術(shù)、ETL技術(shù)中的分布式文件存儲(chǔ)系統(tǒng) HDFS和編程模型 MapReduce以及開源框架 SpringMVC、Spring和Mybatis技術(shù)。
　　2.從市場(chǎng)需求、社會(huì)經(jīng)濟(jì)效益、功

3、能需求等方面對(duì)系統(tǒng)進(jìn)行總體分析，基于原始數(shù)據(jù)ETL模塊和流量統(tǒng)計(jì)服務(wù)模塊的詳細(xì)需求分析，設(shè)計(jì)系統(tǒng)的數(shù)據(jù)導(dǎo)入、數(shù)據(jù)ETL、數(shù)據(jù)管理和參數(shù)統(tǒng)計(jì)四個(gè)功能模塊，并詳細(xì)介紹了各個(gè)模塊的功能。
　　3.原始數(shù)據(jù) ETL系統(tǒng)采用 Hadoop集群中的分布式文件系統(tǒng) HDFS存儲(chǔ)數(shù)據(jù)，采用MapReduce編程模型處理流量數(shù)據(jù)，同時(shí)支持Oracle、MySql和PostgreSql等關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)接口以及其它類型的原始數(shù)據(jù)源的處理。
　

4、　4.流量統(tǒng)計(jì)服務(wù)系統(tǒng)采用Elasticsearch集群作為流量數(shù)據(jù)源，可根據(jù)需要進(jìn)行集群擴(kuò)容，采用Oracle數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)常規(guī)數(shù)據(jù)，采用SSM框架搭建系統(tǒng)后臺(tái)，采用Bootstrap、Jquery和Ajax等技術(shù)進(jìn)行前端開發(fā)。
　　5.原始數(shù)據(jù) ETL系統(tǒng)實(shí)現(xiàn)原始流量數(shù)據(jù)的提取、處理和管理，以及將處理后的流量數(shù)據(jù)導(dǎo)入到 Elasticsearch集群中；流量統(tǒng)計(jì)服務(wù)系統(tǒng)基于 Elasticsearch集群中的流量數(shù)據(jù)和Orac