Storm在電力大數(shù)據(jù)分析平臺中的研究與應用.pdf

1、電力系統(tǒng)對生產、管理、運營過程的實時監(jiān)控范圍更廣、粒度更細，積累的實時數(shù)據(jù)量呈指數(shù)級增長，如何快速、實時的處理流數(shù)據(jù)成為研究熱點。分布式的流處理技術使得流數(shù)據(jù)進行及時分析成為可能。
　　Storm是Twitter公司開源的分布式、常用在實時計算技術，在實時分析、線機器學習、連續(xù)計算等領域。目前，Storm在網站信息、用戶畫像、實時推薦等領域已取得不錯的效果。本文以“Storm在電力大數(shù)據(jù)分析平臺中的研究與應用”為課題，旨在將Sto

2、rm技術與電力大數(shù)據(jù)平臺相結合，提出電力系統(tǒng)中海量實時數(shù)據(jù)的處理方案。主要研究內容有:
　　1、研究分布式的流處理平臺及典型代表。分析Storm、S4、SparkStreaming各自的架構特點，從系統(tǒng)架構、數(shù)據(jù)模型、故障恢復等方面進行對比;研究Storm集群及流數(shù)據(jù)處理過程涉及的相關技術，如ZooKeeper、Kafka等。
　　2、深入分析Storm集群架構及處理模型，研究Storm數(shù)據(jù)流處理策略，包括Storm流分組策

3、略及實時數(shù)據(jù)無損處理算法;通過實例，測試Storm在不同拓撲、不同參數(shù)配置情況下的性能，包括CPU使用率、系統(tǒng)吞吐量及處理延時等方面，分析Storm性能瓶頸，以支持系統(tǒng)擴展。
　　3、將Storm與電力大數(shù)據(jù)平臺相結合，設計基于Storm的流數(shù)據(jù)處理過程。在分析電力流數(shù)據(jù)處理需求的基礎上，提出一種分層的、多種計算模式混搭的電力大數(shù)據(jù)平臺架構;針對電力系統(tǒng)流數(shù)據(jù)的特點及處理需求，提出基于Storm的實時數(shù)據(jù)處理方案，添加Kafka消