基于Storm的訂單大數(shù)據(jù)實(shí)時(shí)監(jiān)控系統(tǒng).pdf

1、大數(shù)據(jù)時(shí)代，實(shí)時(shí)有效地收集海量訂單數(shù)據(jù)，幫助企業(yè)智慧地從數(shù)據(jù)中獲取目標(biāo)信息，能夠更加有效的、有條理的制定相關(guān)業(yè)務(wù)的發(fā)展和改進(jìn)方向，企業(yè)可以通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行二次開發(fā)利用，進(jìn)一步地總結(jié)和處理數(shù)據(jù)，最終制定出更加符合用戶需求、更加適用于市場(chǎng)的設(shè)計(jì)方案。Storm作為一套高效的、安全的、實(shí)時(shí)的大數(shù)據(jù)處理引擎被本系統(tǒng)使用，NoSQL數(shù)據(jù)庫(kù)Elasticsearch和MongoDB則能滿足對(duì)海量數(shù)據(jù)的高效存儲(chǔ)與查詢。本論文將基于Storm、Kaf

2、ka、NoSQL數(shù)據(jù)庫(kù)Elasticsearch和MongoDB設(shè)計(jì)和實(shí)現(xiàn)訂單大數(shù)據(jù)的實(shí)時(shí)監(jiān)控系統(tǒng)。
　　系統(tǒng)將主要的數(shù)據(jù)保存在Elasticsearch中，將一些配置參數(shù)和時(shí)間戳數(shù)據(jù)保存在MongoDB中；文件系統(tǒng)使用HDFS；采用Scala語(yǔ)言來(lái)編寫代碼；使用分布式消息隊(duì)列Kafka來(lái)連接Storm中不同功能的拓?fù)洌岣吡讼到y(tǒng)的可靠性。在數(shù)據(jù)處理過(guò)程中，執(zhí)行的操作名稱、時(shí)間節(jié)點(diǎn)和部分中間結(jié)果會(huì)被記錄到系統(tǒng)日志中，以便解決系統(tǒng)錯(cuò)

3、誤和提升系統(tǒng)性能，平臺(tái)處理后的重要結(jié)果，可以通過(guò)Web頁(yè)面以多種圖和表的形式向用戶展示，該展示網(wǎng)站具備搜索引擎，能夠通過(guò)關(guān)鍵字和特定規(guī)則的語(yǔ)句搜索目標(biāo)數(shù)據(jù)，還支持點(diǎn)擊圖標(biāo)和標(biāo)簽進(jìn)行快捷查找。
　　整套系統(tǒng)部署在分布式集群中，具有高實(shí)時(shí)性、高效率、高容錯(cuò)性、可擴(kuò)展等特點(diǎn)，結(jié)果數(shù)據(jù)展示網(wǎng)站功能強(qiáng)大，界面清晰簡(jiǎn)潔，用戶體驗(yàn)很好，平臺(tái)可以實(shí)時(shí)地監(jiān)控海量數(shù)據(jù)信息的變化，從結(jié)構(gòu)混合、復(fù)雜的、規(guī)模龐大的數(shù)據(jù)中，通過(guò)智能化的方法，挖掘出有價(jià)值的信