連續(xù)時間MDPs增強學(xué)習(xí)方法及其在無人機控制中的應(yīng)用.pdf

1、無人機系統(tǒng)在惡劣氣象條件和動態(tài)戰(zhàn)場環(huán)境中的應(yīng)用，給無人機控制技術(shù)帶來不確定性、高度非線性、多輸入多輸出、輸入通道耦合以及非結(jié)構(gòu)化環(huán)境和動態(tài)環(huán)境等諸多挑戰(zhàn)。論文以人工智能的視角，從連續(xù)時間Markov決策過程（Continuous-time Markov Decision Processes，CTMDPs）出發(fā)，發(fā)展了適用于CTMDPs增強學(xué)習(xí)的新理論方法，并應(yīng)用到無人機自主控制當(dāng)中。論文綜合運用Markov決策過程（Markov Dec

2、ision Processes，MDPs）、隨機優(yōu)化、增強學(xué)習(xí)等多種理論，重點對基于性能勢的CTMDPs問題模型、策略迭代求解算法、增強學(xué)習(xí)方法以及其在無人機控制中的應(yīng)用等方面進行了理論與應(yīng)用研究。論文的主要研究成果如下：
　　1、采取連續(xù)時間Markov決策過程對無人機系統(tǒng)控制問題中的不確定性進行建模，構(gòu)建了基于性能勢的CTMDPs模型。1）MDPs通過假設(shè)狀態(tài)之間轉(zhuǎn)移是概率的，為環(huán)境中不確定性建模提供了有效的概率化方法。針對非

3、結(jié)構(gòu)化環(huán)境和動態(tài)環(huán)境中，無人機系統(tǒng)參數(shù)和環(huán)境都是時變的特點，論文利用具有連續(xù)狀態(tài)轉(zhuǎn)移時間的CTMDPs模型替代具有固定轉(zhuǎn)移時間的傳統(tǒng)MDPs模型。通過動態(tài)性很強的“雙車博弈”例子，驗證了CTMDPs模型比MDPs模型具有更好的性能。2）要想求解CTMDPs模型，首先需要獲得模型參數(shù)。然而，現(xiàn)有CTMDPs模型中參數(shù)具有時變形式，很難顯式地給出其概率分布。另一方面，模型參數(shù)與樣本路徑之間沒有明顯的估計關(guān)系式，因此很難通過樣本路徑來估計模型

4、參數(shù)。為此，借助于性能勢對Markov隨機過程的描述，論文構(gòu)建了基于性能勢的CTMDPs模型。
　　2、首次提出了基于性能勢的CTMDPs模型策略迭代求解算法。1）利用性能勢理論推導(dǎo)出了長期平均收益意義下：策略基本引理、最優(yōu)策略的充分必要性條件、以及具體的CTMDPs策略迭代算法。2）在理論上證明了所提出算法的收斂性以及算法解的最優(yōu)性。3）在理論上分析了傳統(tǒng)MDPs只是CTMDPs在單位轉(zhuǎn)移速率矩陣Λ=I時的特例。4）通過一個具有

5、強對抗性的動態(tài)博弈例子對所提出的CTMDPs策略迭代算法進行驗證，并與傳統(tǒng)MDPs方法進行比較。結(jié)果表明所提出的CTMDPs算法能夠很好地接近問題的最優(yōu)解析解，并對參數(shù)的變化具有較高的魯棒性。與傳統(tǒng)MDPs比較結(jié)果顯示，無論是從解的質(zhì)量還是算法的魯棒性來看，CTMDPs策略迭代算法都具有明顯優(yōu)勢。
　　3、首次提出了基于性能勢的 CTMDPs模型增強學(xué)習(xí)方法。1）給出了CTMDPs中狀態(tài)轉(zhuǎn)移速率、嵌入鏈轉(zhuǎn)移概率等參數(shù)的估計公式。對

6、性能勢估計，給出了適合離線估計的L步估計算法，以及適合于在線估計的時間差分算法，并從理論和仿真兩個方面對估計公式收斂性進行了驗證。2）推導(dǎo)出了增強學(xué)習(xí)的具體算法，并討論了如何避免求解過程陷入局部極值點。3）以標(biāo)準(zhǔn)的增強學(xué)習(xí)驗證問題（倒立擺）為例，對比了Q-learning、Actor-Critic、GENITOR、SANE等它經(jīng)典學(xué)習(xí)方法以及傳統(tǒng)MDPs模型學(xué)習(xí)方法，結(jié)果表明CTMDPs-RL方法求解速度比上述方法更快且陷入局部極值點的

7、情況更少。
　　4、應(yīng)用基于連續(xù)時間Markov決策過程的增強學(xué)習(xí)方法求解了無人機控制問題。1）給出了無人機引導(dǎo)任務(wù)中具有積分型指標(biāo)和終端型指標(biāo)的兩類控制問題在增強學(xué)習(xí)方法下的統(tǒng)一求解框架。2）分別利用CTMDPs-RL算法求解了爬升-下降”軌跡跟蹤、“S型轉(zhuǎn)彎”軌跡跟蹤兩個具有積分型指標(biāo)的算例；以及定高飛行、定速飛行兩個具有終端型指標(biāo)的算例。通過對實驗結(jié)果的性能與誤差分析，表明CTMDPs-RL算法在無人機動力學(xué)模型未知前提下，