基于Hadoop的鐵道供電監(jiān)控信息流分布式壓縮存儲及容錯研究.pdf

1、現(xiàn)代電網規(guī)模與容量不斷擴大，能量流與信息流互動，構成智能調度應用的基礎,為了增強調度監(jiān)控的協(xié)調與交互，各式新型智能電子設備不斷接入，電力系統(tǒng)監(jiān)控中監(jiān)測點數(shù)量增多，數(shù)據(jù)量呈幾何形式大規(guī)模增長，數(shù)據(jù)結構既復雜又多樣。典型的如某風電場風機SCADA系統(tǒng)一個月產生的數(shù)據(jù)量約達2490GB，運行一年就將達到20多個TB[1,2]，現(xiàn)有的數(shù)據(jù)管理系統(tǒng)通常采用傳統(tǒng)磁盤陣列來存儲與管理數(shù)據(jù)，相應的數(shù)據(jù)庫管理軟件采用關系型數(shù)據(jù)庫處理方案，數(shù)據(jù)需要集中處理

2、，對單臺服務器有較高性能要求，而且數(shù)據(jù)管理系統(tǒng)的擴展性相對較差、可靠性也不高，雖然能滿足一般數(shù)據(jù)處理應用，但是在應對大規(guī)模數(shù)據(jù)處理方面存在困難，若通過傳統(tǒng)關系數(shù)據(jù)管理系統(tǒng)對海量數(shù)據(jù)集中式處理計算，已遠遠滿足不了未來智能調度監(jiān)控海量數(shù)據(jù)存儲、共享、自動化處理要求，大數(shù)據(jù)集信息的有效存儲與計算仍是目前調度監(jiān)控系統(tǒng)所面臨的一個難題。
　　學術界在電力領域引入云計算，將云計算技術引入調度監(jiān)控大數(shù)據(jù)的存儲處理，研究調度監(jiān)控大數(shù)據(jù)的應對方案。

3、作為目前研究較普遍的Hadoop云框架，突破了傳統(tǒng)數(shù)據(jù)集中存儲處理的模式，具有強大的分布式并行處理能力，其所具有的冗余容錯、高可靠、高伸縮等突出優(yōu)勢，為調度監(jiān)控系統(tǒng)海量化大數(shù)據(jù)的有效存儲與計算處理提供了一種新的解決思路。
　　某些特殊的工業(yè)配電系統(tǒng)如鐵道供電系統(tǒng)除具有一般配電系統(tǒng)的特點外，還具有其自身特點，其安全性不僅涉及供電安全更涉及行車安全，其智能調度監(jiān)控對系統(tǒng)可靠性要求高，因此，本文結合工程應用中數(shù)據(jù)處理實際要求與Hadoo

4、p云平臺，構建基于Hadoop的鐵道供電調度監(jiān)控系統(tǒng)，并構建基于Hive的調度監(jiān)控數(shù)據(jù)倉庫和基于HBase的分布式調度監(jiān)控數(shù)據(jù)庫，以鐵道供電調度監(jiān)控量測大數(shù)據(jù)作為研究對象，進行數(shù)據(jù)壓縮存儲研究。實驗表明：RCFile文件格式的查詢和壓縮性能優(yōu)于TextFile與SequenceFile，且三種文件格式經Deflate、Gzip、Lzo的壓縮查詢效率得到提高；驗證了HBase良好的實時讀寫性能；實現(xiàn)了Hive與HBase的信息融合交互；驗