基于網(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著各種智能終端普及，移動互聯(lián)網(wǎng)終端產(chǎn)生了海量的數(shù)據(jù)信息。如何利用海量的數(shù)據(jù)信息，幫助企業(yè)快速找到目標(biāo)人群進(jìn)行精準(zhǔn)營銷，將廣告投向真正有需求的人群，從而提高營銷效率，是許多公司所面臨的問題。通過用戶行為分析，可以挖掘出用戶的消費(fèi)習(xí)慣、興趣和偏好等，將用戶特征抽象成短語標(biāo)簽，建立用戶畫像。針對用戶在品類間的差異化比較，挖掘出每類用戶特征，進(jìn)而能夠精準(zhǔn)篩選目標(biāo)人群?；诰W(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)用戶行為分析系統(tǒng)是以移動互聯(lián)網(wǎng)用戶行為分析為基礎(chǔ)，利用大

2、數(shù)據(jù)技術(shù)，從海量數(shù)據(jù)中提取有用數(shù)據(jù)，并使用實(shí)時網(wǎng)絡(luò)爬蟲進(jìn)行數(shù)據(jù)抓取。
　　論文主要結(jié)合軟件工程設(shè)計(jì)思想對基于網(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)用戶行為分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)過程進(jìn)行較為詳細(xì)地描述。論文從業(yè)務(wù)需求、功能需求和非功能需求三個方面對基于網(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)用戶行為分析系統(tǒng)進(jìn)行詳細(xì)的需求分析。并以此為基礎(chǔ)對本系統(tǒng)的總體架構(gòu)進(jìn)行了詳細(xì)設(shè)計(jì)，將系統(tǒng)按功能劃分為網(wǎng)絡(luò)爬蟲模塊、日志處理模塊、用戶行為分析模塊、用戶畫像分析模塊、前端展示模塊等五大主要模塊，

3、并對其進(jìn)行了具體的功能設(shè)計(jì)，同時對系統(tǒng)的主要功能實(shí)現(xiàn)如爬取字段、分布式爬蟲架構(gòu)、用戶行為分析、用戶行為分析模塊等進(jìn)行詳細(xì)的設(shè)計(jì)，較為詳細(xì)地闡述了用戶行為分析和用戶畫像的構(gòu)建方法。在系統(tǒng)實(shí)現(xiàn)章節(jié)則重點(diǎn)論述了系統(tǒng)主要關(guān)鍵的設(shè)計(jì)思想以及實(shí)現(xiàn)過程等內(nèi)容。最后，就本系統(tǒng)功能模塊進(jìn)行測試，并對實(shí)驗(yàn)結(jié)果做出相關(guān)分析。
　　該系統(tǒng)前端展示是WEB頁面，方便用戶操作，后端為JAVA程序能夠跨實(shí)現(xiàn)平臺部署，網(wǎng)絡(luò)爬蟲部分可以根據(jù)業(yè)務(wù)量來調(diào)整節(jié)點(diǎn)個數(shù)。系