增強學(xué)習(xí)的理論和在路徑規(guī)劃問題中的應(yīng)用.pdf

1、該文先介紹了增強學(xué)習(xí)的基本理論和經(jīng)典算法,在經(jīng)典方法中,價值函數(shù)用和狀態(tài)一一對應(yīng)的查找表方式表示的,隨著狀態(tài)的增多,將陷入維數(shù)災(zāi)問題,因此,接下來對經(jīng)典算法中計算價值函數(shù)的方法加以改進,不再精確表示,而改用梯度下降等監(jiān)督學(xué)習(xí)的方法來對價值函數(shù)進行函數(shù)逼近,這樣可以極大地擴展增強學(xué)習(xí)的適用范圍文中給出了幾種梯度下降方法,并對它們的收斂性進行了比較.另外,針對基于價值函數(shù)的學(xué)習(xí)方法的固有弱點:對價值函數(shù)的估計出現(xiàn)的小偏差可能導(dǎo)致最終結(jié)果的大

2、偏差,又給出了直接增強學(xué)習(xí)方法,即根據(jù)從策略到反饋的不通過價值函數(shù)直接映射,使用梯度上升的方法,對策略空間進行直接搜索.這也可以看成非經(jīng)典的增強學(xué)習(xí)方法.該文還進行了一些增強學(xué)習(xí)方法在agent路徑規(guī)劃問題上的實驗研究,包括單agent系統(tǒng)和多agent系統(tǒng),在這些實驗里,我們綜合使用了多種增強學(xué)習(xí)方法和技巧.從實驗中可以看出,通過試錯法,agent不但可以適應(yīng)即使是動態(tài)的環(huán)境找到最優(yōu)路徑,而且還會逐漸形成合作、競爭等關(guān)系;另一方面,恰