基于Hadoop的全國(guó)零售戶數(shù)據(jù)處理與市場(chǎng)感知.pdf

1、隨著近年來(lái)互聯(lián)網(wǎng)的發(fā)展，促使了“互聯(lián)網(wǎng)+”的興起，煙草企業(yè)已經(jīng)擁有了龐大的零售戶信息數(shù)據(jù)。零售戶在全國(guó)范圍內(nèi)的數(shù)量已經(jīng)超過(guò)了800萬(wàn)家，每月都會(huì)產(chǎn)生大量訂單信息，隨著時(shí)間的推移，這個(gè)訂單信息數(shù)據(jù)量已經(jīng)達(dá)到TB級(jí)別。然而，企業(yè)最初搭建的硬件設(shè)備和軟件不具有存儲(chǔ)和處理這些數(shù)據(jù)的能力，因此導(dǎo)致有價(jià)值的信息無(wú)法提取出來(lái)，形成一個(gè)尷尬的局面。本文結(jié)合全國(guó)零售戶不斷劇增的信息數(shù)據(jù)與現(xiàn)有的大數(shù)據(jù)存儲(chǔ)技術(shù)，提出了基于Hadoop的全國(guó)零售戶訂單數(shù)據(jù)分析

2、系統(tǒng)的架構(gòu)，詳細(xì)分析了Hadoop集群節(jié)點(diǎn)存儲(chǔ)性能和響應(yīng)時(shí)間，實(shí)現(xiàn)了海量數(shù)據(jù)的存儲(chǔ)與處理?；贏RIMA預(yù)測(cè)模型，建立了銷(xiāo)售預(yù)測(cè)模型，并對(duì)該模型進(jìn)行了驗(yàn)證，根據(jù)預(yù)測(cè)提出了基于預(yù)測(cè)的營(yíng)銷(xiāo)模式，還提出了對(duì)零售戶終身價(jià)值的計(jì)算方式，為決策者提供對(duì)零售戶的忠誠(chéng)度提升策略。具體研究?jī)?nèi)容如下：
　　1）根據(jù)全國(guó)零售戶訂單數(shù)據(jù)的性質(zhì)，提出了一種基于Hive的數(shù)據(jù)存儲(chǔ)模型，該模型是對(duì)海量數(shù)據(jù)進(jìn)行分區(qū)管理，采用月單位劃分?jǐn)?shù)據(jù)分區(qū)表。采用該模型解決針

3、對(duì)全國(guó)零售戶訂單數(shù)據(jù)的應(yīng)用存儲(chǔ)和負(fù)載均衡問(wèn)題。
　　2）探討了對(duì)整個(gè)HDFS常用的數(shù)據(jù)處理辦法，并根據(jù)存儲(chǔ)數(shù)據(jù)的實(shí)際情況，提出了一個(gè)在異構(gòu)集群下減少數(shù)據(jù)處理的響應(yīng)時(shí)間的算法，該算法是分析集群性質(zhì)和對(duì)集群處理數(shù)據(jù)的執(zhí)行響應(yīng)時(shí)間提出一種基于節(jié)點(diǎn)計(jì)算性能的數(shù)據(jù)分配策略。針對(duì)全國(guó)零售戶數(shù)據(jù)，運(yùn)用該分配策略建立一個(gè)數(shù)據(jù)處理模型，降低數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，防止數(shù)據(jù)擁塞，提供集群的時(shí)效性。
　　3）企業(yè)具有敏銳的市場(chǎng)感知、把握市場(chǎng)動(dòng)態(tài)和市場(chǎng)方

4、向的能力，關(guān)鍵在于對(duì)大數(shù)據(jù)的挖掘。本文從市場(chǎng)感知和市場(chǎng)響應(yīng)角度，在大數(shù)據(jù)的基礎(chǔ)上，運(yùn)用ARIMA銷(xiāo)售預(yù)測(cè)模型來(lái)預(yù)測(cè)市場(chǎng)銷(xiāo)售，并且提出了一種計(jì)算零售戶市場(chǎng)價(jià)值、忠誠(chéng)度的方法，緩解重要決策對(duì)個(gè)人經(jīng)驗(yàn)的依賴(lài)，為品牌投放和市場(chǎng)響應(yīng)提供了有效的信息支撐。
　　4)基于Hadoop的數(shù)據(jù)存儲(chǔ)技術(shù)建立了一個(gè)大數(shù)據(jù)處理平臺(tái)，設(shè)計(jì)了一個(gè)以企業(yè)產(chǎn)生的零售數(shù)據(jù)為導(dǎo)向的數(shù)據(jù)存儲(chǔ)的生態(tài)大循環(huán)、以戰(zhàn)略為牽引的大數(shù)據(jù)平臺(tái)中循環(huán)和以數(shù)據(jù)信息為核心的數(shù)據(jù)同步處理的