基于強化學習的仿人智能控制器參數在線學習與優(yōu)化.pdf

1、仿人智能控制基于特征辨識的多控制器、多控制模態(tài)結構，其控制的一個顯著特點是比例（閉環(huán)）和保持（開環(huán)）模式的切換，突破了傳統(tǒng)控制理論控制信息處理單映射的結構，妥善地解決了穩(wěn)定性和準確性、快速性之間的矛盾，解決了復雜難控系統(tǒng)的控制可行性問題。但是，由于其多控制器和多控制模態(tài)結構，造成特征參數和控制參數眾多，給控制器的設計又帶來了困難。另外，系統(tǒng)本身因為周圍環(huán)境的改變而改變或者不確定因素的存在使得控制參數不能在這個運行過程中一成不變，必須要對

2、參數進行實時校正，才能直接用于實際系統(tǒng)。因為對于本論文的研究對象在使用仿人智能控制的同時引入在線參數學習與優(yōu)化的方法，對于實現快速高品質的實時控制顯得十分重要。
　　 參數的在線學習與優(yōu)化在控制中起著重要的作用，其在線學習與離線學習參數的最大區(qū)別是在線學習參數可以適應動態(tài)環(huán)境，而離線學習參數則只適于靜態(tài)或簡單的環(huán)境。在線參數的方法包括：模擬退火算法（SA）、粒子群算法（PSO）、單純形法和強化學習方法等等。本論文首次提出了利用強

3、化學習在線學習優(yōu)化仿人智能控制器的參數。
　　 連續(xù)動作強化學習自動機（Continuous Action Reinforcement Learning Automata，CARLA）是強化學習中的一種，其具有在參數空間上連續(xù)取值。其算法利用連續(xù)概率密度函數（Continuous Probability Density Function，CPDF），處理每一個決策變量，通過多次迭代對參數的修正，最終將參數收斂到一個穩(wěn)定值上，每一

4、次修正的過程都取決于每次迭代后得到的強化信號值。
　　 本文有效地實現了利用連續(xù)動作強化學習自動機在線學習具有多模態(tài)控制結構和分層遞階結構的仿人智能控制器參數。在文章的最后，選取研究對象，分別實現基于CARLA的仿人智能控制參數在線學習及基于CARLA的PID控制參數在線學習與優(yōu)化。此外還分別利用遺傳算法對系統(tǒng)參數進行尋優(yōu)與CARLA參數尋優(yōu)進行對比。結果顯示，在不同控制器作用下，仿人智能控制明顯優(yōu)于PID控制；在相同控制器作用