基于Hadoop技術的電網(wǎng)線損分析系統(tǒng)研究與實現(xiàn).pdf

1、線路損耗，簡稱線損，是電能通過輸電線路傳輸而產(chǎn)生的能量損耗。線損率的大小集中反映電力公司電網(wǎng)的規(guī)劃、檢修、調(diào)度、營銷水平。線損是電網(wǎng)發(fā)展的重要經(jīng)濟技術指標，降低線損能顯著提升電力公司經(jīng)濟效益。
　　傳統(tǒng)的線損分析系統(tǒng)基于關系數(shù)據(jù)庫Oracle架構，系統(tǒng)在處理電壓電表等海量電網(wǎng)運行數(shù)據(jù)計算電網(wǎng)線損時，在數(shù)據(jù)同步、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)反饋等環(huán)節(jié)存在效率低下，無法滿足線損應用需求的問題。迫切需要研究新型的線損系統(tǒng)處理架構。
　

2、　本文為了解決上述線損系統(tǒng)分析的主要問題，在以下兩方面作了研究工作:
　　1、基于Hadoop技術的線損分析系統(tǒng)分析與設計:在研究Hadoop大數(shù)據(jù)技術和線損分析業(yè)務基礎之上，對系統(tǒng)功能進行總體和詳細設計。
　　1)、設計了基于分布式并行抽取技術Sqoop的電網(wǎng)臺帳及運行數(shù)據(jù)的數(shù)據(jù)集成方法，實現(xiàn)電網(wǎng)線損分析數(shù)據(jù)從關系數(shù)據(jù)庫到分布式數(shù)據(jù)倉庫的快速抽取與集成。
　　2)、在Hadoop組件Hive和HBase上，設計了行列

3、并存、行列自動轉換的電網(wǎng)線損數(shù)據(jù)的存儲結構，滿足了電網(wǎng)線損分析業(yè)務的定時批量計算和即時查詢的計算需求。
　　3)、設計了基于模版技術的線損計算任務編排方法，實現(xiàn)線損計算流程和業(yè)務計算邏輯的松耦合，并在分布式數(shù)據(jù)倉庫Hive上實現(xiàn)了線損計算的并行化運行。
　　4)、設計了同步（數(shù)據(jù)即時回寫）及異步（服務調(diào)用）相結合的線損分析結果數(shù)據(jù)數(shù)據(jù)反饋方法，解決了海量結果數(shù)據(jù)及小批量結果數(shù)據(jù)的反饋問題。
　　2、線損系統(tǒng)實現(xiàn)及測試:

4、在線損分析功能總體設計及詳細設計基礎上，利用開源Hadoop技術，搭建了分布式計算集群，實現(xiàn)了線損分析系統(tǒng)，并對系統(tǒng)進行了測試及驗證，測試結果表明，基于Hadoop技術的電網(wǎng)線損分析系統(tǒng)，相比于基于傳統(tǒng)關系數(shù)據(jù)庫架構的計算系統(tǒng)性能提升顯著，有6倍的性能提升。
　　通過上述研究工作，本文設計并實現(xiàn)的基于大數(shù)據(jù)技術Hadoop的線損分析系統(tǒng)有效解決了線損分析處理效率及時效性不滿足業(yè)務需求的問題，為電網(wǎng)線損精益化管理提供了信息系統(tǒng)技術支