Spark并行動態(tài)規(guī)劃及其在水庫群發(fā)電優(yōu)化調度中的應用.pdf

1、水電能源的開發(fā)為現(xiàn)代社會的可持續(xù)發(fā)展提供了堅實的基礎，水庫（群）聯(lián)合優(yōu)化調度的研究，為提高水電能源利用率提供可行依據(jù)，是非常重要的研究項目，其研究方法主要為構建新模型以及求解算法的改進。
　　隨著優(yōu)化調度對象規(guī)模的增大，傳統(tǒng)求解算法會因“維數(shù)災”而受限，在多種改進方法中，從執(zhí)行端的角度出發(fā)，將算法并行化以增加執(zhí)行效率是近年來新的研究成果。目前水庫調度算法并行研究大都基于Fork/Join框架和MPI框架，在單臺或者集群計算機運行：

2、Fork/Join框架適用于在單臺計算機上使用，對算法執(zhí)行效率上的提高有限；MPI框架雖然可用于集群環(huán)境以獲取超越單機環(huán)境的加速比，但MPI并行程序設計繁瑣，需要考慮許多算法之外的問題，對設計人員的計算機專業(yè)知識要求較高，而且MPI框架在容災方面存在不足，不能保證計算的可靠性。
　　近年來各種集群計算引擎為海量數(shù)據(jù)處理提供了解決方案，其中Spark框架對分布式數(shù)據(jù)集上的迭代作業(yè)支持較好，被廣泛應用于海量數(shù)據(jù)場景的機器學習、數(shù)據(jù)挖掘

3、和圖像處理等研究。Spark程序不僅可以運行在單機和本地集群上，也可以運行在資源配置靈活的云服務器上；程序設計方面Spark將數(shù)據(jù)切分、并行處理和容錯健壯性等工作進行了封裝，使并行程序的設計更加簡單；在容災方面Spark通過數(shù)據(jù)集之間的血統(tǒng)關系（Lineage）對丟失的數(shù)據(jù)進行恢復，數(shù)據(jù)可靠性高。運用Spark框架，本文對傳統(tǒng)求解方法中的動態(tài)規(guī)劃和離散微分動態(tài)規(guī)劃算法進行了如下并行化研究：
　?。?）通過研究動態(tài)規(guī)劃的狀態(tài)轉移過程

4、與Spark框架的運行機制，本文將多階段狀態(tài)轉移過程轉換為Key-Value型數(shù)據(jù)集的迭代計算，實現(xiàn)動態(tài)規(guī)劃（DP）和離散微分動態(tài)規(guī)劃（DDDP）算法的Spark并行化，在多核環(huán)境下以經(jīng)典四水庫問題和沅水串聯(lián)兩水庫為例對Spark并行DP測試，以經(jīng)典十水庫問題和沅水混聯(lián)四水庫為例對Spark并行DDDP測試。
　?。?）針對異構環(huán)境下運行Spark并行DP程序時，同階段內(nèi)任務完成時間不同步問題，提出了基于節(jié)點計算能力評估的任務分配