智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)研究.pdf

1、隨著全球能源互聯(lián)網(wǎng)的建設(shè)以及智能電網(wǎng)建設(shè)的快速推進，大量的物聯(lián)網(wǎng)信息采集設(shè)備終端將會接入電網(wǎng)，這些終端將會產(chǎn)生海量的采集數(shù)據(jù)—智能電網(wǎng)大數(shù)據(jù)。為應(yīng)對這些海量數(shù)據(jù)分析的需求，本文研究了智能電網(wǎng)大數(shù)據(jù)的流處理和批處理引擎的構(gòu)建，并在此基礎(chǔ)上完成了智能電網(wǎng)大數(shù)據(jù)在線分析與決策系統(tǒng)的設(shè)計。
　　本文在國內(nèi)外的研究的基礎(chǔ)上研究了智能電網(wǎng)大數(shù)據(jù)的來源和分類，對智能電網(wǎng)大數(shù)據(jù)分析的主要需求進行了分析。本文對大數(shù)據(jù)相關(guān)的分布式計算理論進行了介紹，

2、其中主要介紹了分布式計算框架MapReduce、分布式文件系統(tǒng)GFS和HDFS、分布式應(yīng)用程序協(xié)調(diào)服務(wù)Chubby和ZooKeeper、分布式資源管理框架YARN和Mesos的原理和架構(gòu)，同時也介紹了Map Reduce迭代計算模型、BSP計算模型、SSP計算模型這三種分布式數(shù)據(jù)分算法基礎(chǔ)模型;隨后研究了智能電網(wǎng)大數(shù)據(jù)流處理的任務(wù)需求，對流處理的概念進行了介紹，同時研究了智能電網(wǎng)大數(shù)據(jù)流處理系統(tǒng)的需求特征，著重研究了Strom、Spar

3、k Streaming、 Samza這三種流處理引擎以及其應(yīng)用場景，根據(jù)其特點和智能電網(wǎng)大數(shù)據(jù)流處理分析的特性需求本文選擇Strom作為構(gòu)建智能大數(shù)據(jù)在線分析與決策系統(tǒng)的流處理引擎，并通過基于Storm的VFDT算法在重要電力客戶供用電安全實時分析中的應(yīng)用展示了Strom在電網(wǎng)數(shù)據(jù)實時分析上的有效性，通過機器的擴展和模擬數(shù)據(jù)流的增加進行壓力測試證明了Strom流處理引擎的在智能電網(wǎng)大數(shù)據(jù)分析場景中的可擴展性;隨后，對智能電網(wǎng)大數(shù)據(jù)批處理