基于Node-red與Redis的實時流數(shù)據(jù)處理模型的設計與應用.pdf

1、近年來，隨著云計算、物聯(lián)網(wǎng)、社交媒體等新興信息技術和應用模式的快速發(fā)展，人類社會不斷地向大數(shù)據(jù)時代邁進。大數(shù)據(jù)時代下的流式數(shù)據(jù)呈現(xiàn)出實時性、突發(fā)性、無序性等特點，這對流式數(shù)據(jù)處理系統(tǒng)就有了更高更嚴格的要求。如今，現(xiàn)有的實時流數(shù)據(jù)處理系統(tǒng)通常面臨著業(yè)務擴展困難、數(shù)據(jù)流管理困難的問題，本文旨在解決實時流數(shù)據(jù)處理中所面臨的這兩大問題，在保證數(shù)據(jù)處理的實時性和高效性的前提下，提出了一套新的基于 Node-red的數(shù)據(jù)流管理和 Redis內(nèi)存計算

2、的實時流數(shù)據(jù)處理模型。
　　本文從總體架構上對該模型進行設計，重新設計了Node-red的數(shù)據(jù)輸入節(jié)點、數(shù)據(jù)輸出節(jié)點、數(shù)據(jù)處理節(jié)點以及 Redis數(shù)據(jù)庫訪問節(jié)點，各個節(jié)點的開發(fā)使用Node.js異步編程語言，節(jié)點之間的通信是通過Redis的pub/sub機制以及Node.js的socket.io來完成。最后將這些節(jié)點重新安裝部署到Node-red中，使其成為一個完整的實時流數(shù)據(jù)處理模型。在實時流數(shù)據(jù)處理過程中，經(jīng)常會遇到最大值、最

3、小值、累計求和、top(n)等數(shù)據(jù)指標的計算，而計算這些指標的基礎就是去重統(tǒng)計，本文通過分析Redis有序集合的源碼，結合Skip List的基本原理，提出了基于Redis有序集合的去重統(tǒng)計方法，并通過新設計的Redis數(shù)據(jù)庫訪問節(jié)點實現(xiàn)該方法在實時流數(shù)據(jù)處理模型中的應用。
　　實時流數(shù)據(jù)處理模型設計完成之后，一個重要任務就是對模型進行應用驗證，因此本文設計并實現(xiàn)了一個實時的網(wǎng)站訪問監(jiān)控系統(tǒng)，并利用該模型對數(shù)據(jù)進行實時處理，最終將

4、分析結果展示在前端可視化界面上。該系統(tǒng)主要包括三個模塊，實時數(shù)據(jù)采集模塊、實時數(shù)據(jù)分析模塊以及數(shù)據(jù)可視化模塊，其中，實時數(shù)據(jù)分析模塊是利用本文所設計的實時流數(shù)據(jù)處理模型來實現(xiàn)的，數(shù)據(jù)可視化模塊是利用Node.js的express框架實現(xiàn)的一個web應用，用戶只需在瀏覽器上登錄就可以訪問監(jiān)控頁面，同時利用highcharts將數(shù)據(jù)可視化模塊中的圖表組件化，以此來適應因業(yè)務的不斷擴展而帶來的數(shù)據(jù)多樣化。本文最后對設計的系統(tǒng)進行了功能測試和性