農(nóng)貿(mào)市場大數(shù)據(jù)商業(yè)智能系統(tǒng)開發(fā).pdf

1、農(nóng)貿(mào)市場留給民眾的印象基本上可以概括為“臟”、“亂”、“差”。最近幾年，有一些發(fā)展較快的城市提出了“農(nóng)貿(mào)市場改造升級”、“農(nóng)貿(mào)市場超市化”等方案但是由于成本太高而無法在全國普遍推廣，而且這種轉(zhuǎn)變方式也僅僅是在硬件方面。其實，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，可以將大數(shù)據(jù)技術(shù)、商業(yè)智能技術(shù)，物聯(lián)網(wǎng)技術(shù)等應(yīng)用到農(nóng)貿(mào)市場的改造上。比如利用基于物聯(lián)網(wǎng)技術(shù)的電子貨架標(biāo)簽系統(tǒng)(Electric ShelfLabel System，ESLs)，可以將農(nóng)貿(mào)市場內(nèi)的

2、商品價格統(tǒng)一管理，可以大大降低甚至避免民眾遭遇價格欺詐。這樣做還可以將價格數(shù)據(jù)、民眾的購買行為等數(shù)據(jù)通過互聯(lián)網(wǎng)上傳到統(tǒng)一的數(shù)據(jù)服務(wù)器上，利用商業(yè)智能技術(shù)對數(shù)據(jù)進行分析。
　　本文設(shè)計了一個農(nóng)貿(mào)市場大數(shù)據(jù)商業(yè)智能系統(tǒng)原型，系統(tǒng)分為數(shù)據(jù)來源層，數(shù)據(jù)的抽取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)(Extract-Transform-Load，ETL)層，大數(shù)據(jù)存儲層，數(shù)據(jù)分析層和結(jié)果展現(xiàn)層五個層次。數(shù)據(jù)來源層分為

3、兩部分，一部分采用佛山市廣華合志科技有限公司研發(fā)的ESLs來實現(xiàn)商品價格的管理;另一部分是農(nóng)貿(mào)市場的管理系統(tǒng)，從管理系統(tǒng)中收集銷售數(shù)據(jù)。數(shù)據(jù)ETL層使用Pentaho Kettle引擎來實現(xiàn)，定義了一個完整的ETL作業(yè)可以從數(shù)據(jù)來源層抽取數(shù)據(jù)。大數(shù)據(jù)存儲層使用MySQL Cluster數(shù)據(jù)庫集群技術(shù)來實現(xiàn)，本課題實現(xiàn)了一個四個數(shù)據(jù)節(jié)點、兩個SQL節(jié)點和兩個Manager節(jié)點的數(shù)據(jù)庫集群的原型。數(shù)據(jù)分析層由三部分組成，第一部分通過使用開源

4、的關(guān)系型聯(lián)機分析處理(RelationalOn-Line Analytical Processing，ROLAP)引擎Mondrian來完成聯(lián)機分析處理On-LineAnalytical Processing，OLAP)的功能;第二部分使用JasperReports報表引擎來實現(xiàn)報表功能，第三部分使用R語言來實現(xiàn)商品關(guān)聯(lián)分析的算法，還可以在R環(huán)境中根據(jù)需要來實現(xiàn)其他的分析。結(jié)果展現(xiàn)層，通過HTML頁面、報表、圖表三種方式來對最終的結(jié)果進

5、行展現(xiàn)。
　　本文首先介紹了當(dāng)前我國農(nóng)貿(mào)市場所面臨的問題以及國內(nèi)外農(nóng)貿(mào)市場的現(xiàn)狀。第二部分介紹了大數(shù)據(jù)、商業(yè)智能等相關(guān)概念和電子貨架標(biāo)簽系統(tǒng)。第三部分介紹了數(shù)據(jù)庫設(shè)計和大數(shù)據(jù)存儲與分析的方案，第四部分說明大數(shù)據(jù)商業(yè)智能系統(tǒng)原型的設(shè)計方案并演示了系統(tǒng)的部分功能。根據(jù)測試，本系統(tǒng)原型可以比較穩(wěn)定的運行，能夠滿足處理較大規(guī)模數(shù)據(jù)的存儲與分析需求，可以在本課題的基礎(chǔ)上繼續(xù)擴展商業(yè)智能功能。通過應(yīng)用本系統(tǒng)將會帶來較大的社會效益和經(jīng)濟效益。從