基于近似動態(tài)規(guī)劃的優(yōu)化控制研究及在電力系統(tǒng)中的應用.pdf

1、基于近似動態(tài)規(guī)劃(Approximate dynamic programming，ADP)的最優(yōu)控制問題是近年來控制領(lǐng)域研究的熱點之一。結(jié)合強化學習思想的近似動態(tài)規(guī)劃是利用函數(shù)近似結(jié)構(gòu)來逼近動態(tài)規(guī)劃方程中的代價函數(shù)和控制策略，以滿足最優(yōu)性原理，從而獲得最優(yōu)代價函數(shù)和最優(yōu)控制策略。因而，近似動態(tài)規(guī)劃成功避免了動態(tài)規(guī)劃求解最優(yōu)控制存在的“維數(shù)災”問題而獲得廣泛的關(guān)注。但是，近似動態(tài)規(guī)劃理論及其算法還沒有得到完善，利用ADP研究動態(tài)系統(tǒng)最優(yōu)控

2、制的許多理論與技術(shù)問題還有待解決。為此，在國家自然科學基金項目“智能電網(wǎng)的動態(tài)全局優(yōu)化與節(jié)能控制理論及其應用(50977008)”等的資助下，本文基于近似動態(tài)規(guī)劃理論進一步研究動態(tài)系統(tǒng)若干優(yōu)化控制問題，提出適合不同情形的迭代ADP算法。并將ADP方法應用到電力系統(tǒng)中，擴展了ADP方法的應用范圍。本文主要工作和貢獻如下：
　　1.針對未知連續(xù)線性系統(tǒng)的最優(yōu)跟蹤控制問題，提出了一種新型的基于ADP的最優(yōu)跟蹤控制方案。首先，將原系統(tǒng)的最

3、優(yōu)跟蹤問題轉(zhuǎn)化成一個增廣系統(tǒng)的最優(yōu)調(diào)節(jié)控制問題。并證明了增廣系統(tǒng)的最優(yōu)控制解等價于原系統(tǒng)的最優(yōu)跟蹤控制問題的標準解。然后，給出了一種新的在線ADP算法來在線求解增廣代數(shù)Riccati方程，實現(xiàn)了在線求得未知系統(tǒng)的最優(yōu)跟蹤控制器。
　　2.提出了一種基于ADP的自適應最優(yōu)控制方案，有效解決了一類離散仿射非線性系統(tǒng)的最優(yōu)控制問題。首先，利用兩個神經(jīng)網(wǎng)絡作為在線參數(shù)結(jié)構(gòu)來分別近似代價函數(shù)和最優(yōu)控制律，分別被稱為評價網(wǎng)絡和執(zhí)行網(wǎng)絡。在考慮

4、神經(jīng)網(wǎng)絡近似誤差的基礎(chǔ)上，通過Lyapunov理論，證明了系統(tǒng)狀態(tài)和神經(jīng)網(wǎng)絡權(quán)值估計誤差都是一致最終有界性，并且能夠保證所獲得的控制輸入在最優(yōu)控制輸入的一個小的鄰域內(nèi)。
　　3.針對一類帶有外界擾動的離散非線性系統(tǒng)的H∞控制問題，提出了一個新的在線自適應策略學習方案。利用三個神經(jīng)網(wǎng)絡作為在線參數(shù)結(jié)構(gòu)分別設(shè)計了評價網(wǎng)絡、執(zhí)行網(wǎng)絡和擾動網(wǎng)絡，并給出網(wǎng)絡權(quán)值的在線更新律。在考慮神經(jīng)網(wǎng)絡近似誤差的基礎(chǔ)上，通過Lyapunov理論，證明了系

5、統(tǒng)狀態(tài)和所有的網(wǎng)絡權(quán)值估計誤差都是一致最終有界性，并且能夠保證所獲得的控制輸入在最優(yōu)控制輸入的一個小的鄰域內(nèi)。
　　4.提出了一種新的迭代兩級DHP算法，解決了一類帶有飽和執(zhí)行器的非線性切換系統(tǒng)的最優(yōu)控制問題。利用一個非二次型泛函解決了執(zhí)行飽和約束問題，保證了控制函數(shù)在飽和執(zhí)行器內(nèi)是一個光滑函數(shù)，推導出一種新異的迭代兩級DHP算法用來求解約束HJB方程。給出嚴格的數(shù)學證明保證了所提出迭代兩級DHP算法的收斂性。
　　5.針對

6、一類離散非線性切換系統(tǒng)的最優(yōu)跟蹤控制問題，設(shè)計了一種迭代ADP算法來獲取最優(yōu)跟蹤混合控制策略。首先，將最優(yōu)跟蹤控制問題轉(zhuǎn)化為一個誤差切換系統(tǒng)的最優(yōu)調(diào)節(jié)控制問題。其次，給出了一種新的迭代兩級ADP算法來求解誤差系統(tǒng)的HJB方程。最后給出算法的收斂性分析，保證了得到跟蹤混合控制策略是最優(yōu)的。
　　6.設(shè)計了一種迭代兩級ε-ADP算法，其有效地解決了一類離散非線性切換系統(tǒng)的有限時間最優(yōu)控制問題。首先，給出了迭代兩級ADP算法來求解HJB

7、方程，并給出了迭代算法的嚴格的收斂性分析。接著，給出了ε-最優(yōu)控制策略，使得迭代兩級ADP算法能夠在有限步得到在ε誤差邊界內(nèi)接近最優(yōu)值的近似最優(yōu)代價函數(shù)，從而實現(xiàn)了離散非線性切換系統(tǒng)的有限時間最優(yōu)控制。
　　7.針對未知電力系統(tǒng)的負荷頻率控制問題，提出了一個基于ADP的在線H∞魯棒負荷頻率控制器設(shè)計方案。首先利用H∞控制方法來處理系統(tǒng)的不確定性問題。然后，利用二人零和微分對策理論來解決H∞控制問題，并通過利用ADP技術(shù)和克羅內(nèi)克積