基于學(xué)習(xí)技術(shù)的一類(lèi)隨機(jī)系統(tǒng)最優(yōu)控制研究.pdf

1、Q學(xué)習(xí)等強(qiáng)化學(xué)習(xí)技術(shù)是解決一類(lèi)離散事件動(dòng)態(tài)系統(tǒng)優(yōu)化問(wèn)題的有效方法，已經(jīng)廣泛應(yīng)用到各類(lèi)實(shí)際問(wèn)題的研究中，特別是可拓展到可用半Markov決策過(guò)程(SMDP)建模的系統(tǒng)優(yōu)化中。本文運(yùn)用采樣技術(shù)，將這類(lèi)方法引入到一階連續(xù)時(shí)間非線性隨機(jī)系統(tǒng)，以解決其最優(yōu)控制問(wèn)題。 論文針對(duì)一階連續(xù)時(shí)間非線性隨機(jī)系統(tǒng)的特點(diǎn)，通過(guò)勒貝格采樣方法，將其優(yōu)化控制問(wèn)題建模為半Markov決策過(guò)程。首先基于事件驅(qū)動(dòng)優(yōu)化方法和Q學(xué)習(xí)技術(shù)，給出了一階連續(xù)時(shí)間非線性隨機(jī)

2、系統(tǒng)在折扣和平均優(yōu)化準(zhǔn)則下統(tǒng)一的優(yōu)化算法。其次，論文在性能勢(shì)理論框架下，引入一種在線策略迭代方法，以解決該類(lèi)系統(tǒng)的最優(yōu)控制問(wèn)題。該方法利用樣本軌道仿真技術(shù)，并基于歷史訪問(wèn)信息進(jìn)行性能勢(shì)學(xué)習(xí)，通過(guò)適當(dāng)探索技術(shù)實(shí)現(xiàn)狀態(tài)-行動(dòng)對(duì)，即Q因子的學(xué)習(xí)。另外，還基于歷史訪問(wèn)信息，建立了一種隨機(jī)有向探索機(jī)制，提高了探索的效率和安全性。 最后，我們通過(guò)一階連續(xù)時(shí)間非線性隨機(jī)系統(tǒng)例子，針對(duì)兩種不同代價(jià)函數(shù)定義，分別采用Q學(xué)習(xí)和在線策略迭代方法，給出