智能電網(wǎng)大數(shù)據(jù)實時流處理方法研究.pdf

1、近年來，隨著傳感器測量技術(shù)、通信技術(shù)和計算機技術(shù)等在智能電網(wǎng)中的廣泛使用，相量測量單元、電能采集、數(shù)據(jù)采集與監(jiān)控等系統(tǒng)產(chǎn)生了以指數(shù)級增長的數(shù)據(jù)，漸漸呈現(xiàn)出數(shù)據(jù)量巨大、種類多等大數(shù)據(jù)的特點，如何快速地處理這些數(shù)據(jù)，是智能電網(wǎng)所面臨的重大挑戰(zhàn)。大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用主要集中在海量數(shù)據(jù)的采集存儲、分析挖掘與可視化等研究領(lǐng)域。目前，大數(shù)據(jù)處理技術(shù)可以分為批處理與流處理兩種模式。批處理系統(tǒng)具有先存儲后計算、數(shù)據(jù)的準(zhǔn)確性和全面性要求高等特點。

2、流處理系統(tǒng)往往不要求結(jié)果絕對精確，而注重對動態(tài)產(chǎn)生的數(shù)據(jù)進行實時計算并及時反饋結(jié)果。數(shù)據(jù)流處理的特殊性以及大數(shù)據(jù)處理的時效性等各種限制使得傳統(tǒng)的實時處理技術(shù)已不能夠滿足需求，因此，大數(shù)據(jù)的流式處理成為了研究學(xué)者和工業(yè)界的關(guān)注熱點。
　　本文首先分析智能電網(wǎng)大數(shù)據(jù)的來源，針對電力大數(shù)據(jù)的數(shù)據(jù)量大、種類繁多與速度快等特點，指出狀態(tài)監(jiān)測與電能計量等數(shù)據(jù)逐漸構(gòu)成了大規(guī)模數(shù)據(jù)流。數(shù)據(jù)流具有實時性、易失性、無序性、無限性等特征，數(shù)據(jù)流的價值會

3、隨時間的流逝而減少。結(jié)合大數(shù)據(jù)處理技術(shù)，給出一種智能電網(wǎng)大數(shù)據(jù)實時流處理框架，采用流式計算系統(tǒng)處理海量數(shù)據(jù)，通過采集系統(tǒng)節(jié)點監(jiān)聽數(shù)據(jù)源變化并實時收集數(shù)據(jù)，利用消息訂閱模式對數(shù)據(jù)進行緩沖與計算，滿足狀態(tài)監(jiān)測異常檢測與異常用電分析等業(yè)務(wù)應(yīng)用對數(shù)據(jù)流快速分析需要。
　　流式數(shù)據(jù)的實時處理是一個連續(xù)計算的處理過程，本質(zhì)上是一種連續(xù)微批處理技術(shù)，將批計算的處理窗口設(shè)置為小時級、分鐘級或秒級。以狀態(tài)監(jiān)測數(shù)據(jù)流的異常檢測為例，在Storm流式計