Q-learning研究及其在AUV局部路徑規(guī)劃中的應用.pdf

1、局部路徑規(guī)劃是水下機器人(AUV)導航任務中的難點.自適應性是AUV所必須具有的關鍵能力.強化學習被認為是獲取未知環(huán)境下自主機器人控制策略的比較合適的方法,最流行的強化學習是Q-學習,因其簡單并易于擴展經常被人們所采用.本文主要研究了強化學習理論及其在水下機器人局部路徑規(guī)劃中的應用,具體完成的主要工作有:研究了強化學習系統(tǒng)的結構模型,確定了強化學習系統(tǒng)的組成;詳細討論了強化學習系統(tǒng)中的輸入模塊、輸出模塊及策略模塊的實現(xiàn)方法,并結合一般的

2、強化學習系統(tǒng),分析了強化學習系統(tǒng)的工作原理.研究了Q-學習的基本原理、算法和相關的幾種改進算法,如Q(λ)算法和SARSA(λ)算法;區(qū)分了兩類強化學習算法:在策略和離策略算法;討論了SARSA(0)算法的收斂性.為強化學習應用于實時決策系統(tǒng)提供了理論基礎和實現(xiàn)方法.針對標準Q-學習收斂速度較慢的缺點,采用多步在策略SARSA(λ)強化學習算法,該算法克服了Q-學習收斂速度慢的缺點,運行軌跡平滑,訓練過程相對比較安全.CMAC神經網絡是

3、一個局部泛化網絡,相比BP網絡有更快的收斂速度和更好的適應性,非常適合用于動態(tài)在線實時控制.本文提出了在連續(xù)狀態(tài)空間的機器人工作環(huán)境下多步在策略連續(xù)動作強化學習,針對移動機器人局部路徑規(guī)劃問題,用CMAC神經網絡逼近連續(xù)狀態(tài)空間和Q函數(shù),產生與標準離散Q-學習網絡數(shù)據結構相同的連續(xù)動作.結果,該方法對于局部路徑規(guī)劃任務很有效,仿真結果表明,該方法在運行性能和收斂速度兩方面都優(yōu)于其它的離散動作的Q-學習.首次采用路徑規(guī)劃和沿墻壁行走兩個強