零售業(yè)大數(shù)據(jù)下載與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息安全與信息技術(shù)的發(fā)展，信息和數(shù)據(jù)資源在當(dāng)前經(jīng)濟(jì)領(lǐng)域中發(fā)揮著舉足輕重的作用，能否可以及時(shí)的獲取它們已經(jīng)成為企業(yè)在商業(yè)活動(dòng)里是否成功的關(guān)鍵。大數(shù)據(jù)作為一種剛剛興起的新的領(lǐng)域，越來(lái)越受到各大企業(yè)的重視。企業(yè)的業(yè)務(wù)數(shù)據(jù)、銷售數(shù)據(jù)的大量產(chǎn)生，如何才能正確快速的分析這些大數(shù)據(jù)，而且從中提煉出有價(jià)值的信息，從而減少運(yùn)營(yíng)成本，把握市場(chǎng)趨勢(shì)。大數(shù)據(jù)對(duì)這些的準(zhǔn)確把握以及及時(shí)性就有十分重要的作用。
　　本論文主要完成了面向零售行業(yè)，基于爬蟲(chóng)技術(shù)

2、的大數(shù)據(jù)下載和基于OLAP（On-line Analytic Processing，聯(lián)機(jī)分析處理）數(shù)據(jù)庫(kù)的數(shù)據(jù)分析計(jì)算的設(shè)計(jì)與實(shí)現(xiàn)方法。爬蟲(chóng)技術(shù)是針對(duì)數(shù)據(jù)下載部分的一個(gè)下載技術(shù)，利用爬蟲(chóng)我們可以完整快速的將數(shù)據(jù)下載完成并且導(dǎo)入到OLAP數(shù)據(jù)庫(kù)中，在OLAP數(shù)據(jù)庫(kù)即多維數(shù)據(jù)庫(kù)中執(zhí)行多維查詢語(yǔ)句，從而產(chǎn)生客戶所需求的結(jié)果數(shù)據(jù)集。然后將這些數(shù)據(jù)集寫(xiě)入到Excel格式的文件中并對(duì)文件的格式和內(nèi)容進(jìn)行處理，最終形成客戶所想看到的報(bào)表。本系統(tǒng)主要應(yīng)

3、用了Java與SQL Server2008Analysis Service技術(shù)，建成一個(gè)傳統(tǒng)的多層系統(tǒng)模式，該模式同樣包括三層內(nèi)容:業(yè)務(wù)邏輯層、表示層和數(shù)據(jù)訪問(wèn)層，形成了一個(gè)用戶能夠在WEB頁(yè)面上隨意選擇想生成的數(shù)據(jù)報(bào)表，想看到的數(shù)據(jù)類型，然后通過(guò)電子郵件或者在線查看的方式瀏覽報(bào)表，還可以自定義報(bào)表內(nèi)容，使報(bào)表更擁有智能化與個(gè)性化。
　　該大數(shù)據(jù)下載與分析計(jì)算系統(tǒng)主要實(shí)現(xiàn)了兩大部分功能，下載大數(shù)據(jù)和從多維數(shù)據(jù)庫(kù)中查詢和生成報(bào)表文件

4、的功能，除了這兩大功能外，還實(shí)現(xiàn)了一個(gè)通過(guò)前臺(tái)頁(yè)面來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行增刪改查的功能，此前臺(tái)頁(yè)面的設(shè)計(jì)是為了更好的控制后臺(tái)邏輯的運(yùn)行，前臺(tái)頁(yè)面包括數(shù)據(jù)下載類型的配置頁(yè)面，下載周期的配置頁(yè)面以及用戶權(quán)限管理頁(yè)面。此前臺(tái)頁(yè)面運(yùn)用了傳統(tǒng)的JSP技術(shù)進(jìn)行設(shè)計(jì)的。
　　最后，本文完成了本系統(tǒng)的測(cè)試，特別是在功能測(cè)試方面采用了黑盒測(cè)試的模式，通過(guò)模擬各種異常情況，模擬異常數(shù)據(jù)的導(dǎo)入，來(lái)查看系統(tǒng)能否正常運(yùn)行，檢查系統(tǒng)存在的問(wèn)題并改正，確保系統(tǒng)能夠?qū)崿F(xiàn)