基于模型知識的大空間強化學(xué)習(xí)算法的研究與實現(xiàn).pdf

1、強化學(xué)習(xí)是一種無監(jiān)督的機器學(xué)習(xí)技術(shù)，能夠利用不確定的環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列，實現(xiàn)動態(tài)環(huán)境下的在線學(xué)習(xí)，因此被廣泛用于Agent的智能決策。 Q學(xué)習(xí)算法是目前主流的強化學(xué)習(xí)算法之一，但Q學(xué)習(xí)本身存在一些問題。首先，Q學(xué)習(xí)算法沒有充分利用學(xué)習(xí)過程中的經(jīng)驗知識，致使算法收斂速度較慢；其次，Q學(xué)習(xí)算法不能適用于連續(xù)狀態(tài)空間和動作空間的學(xué)習(xí)，雖然模糊強化學(xué)習(xí)算法可以在一定程度上解決此問題，但是由于模糊隸屬函數(shù)的選取是建立在主觀經(jīng)驗的基

2、礎(chǔ)上的，缺乏對求解問題的真實描述。本文針對RoboCup中的具體問題，結(jié)合其它學(xué)習(xí)方法對Q學(xué)習(xí)算法進(jìn)行了一些擴充和改進(jìn)，使其適用于復(fù)雜環(huán)境下的Agent智能決策。本文的主要研究工作如下： (1)在Q學(xué)習(xí)算法的基礎(chǔ)上，通過對agent所處環(huán)境的學(xué)習(xí)，使其有效利用先前學(xué)習(xí)到的模型知識重新指導(dǎo)Q學(xué)習(xí)，減小搜索空間，從而節(jié)約時間，提高學(xué)習(xí)的收斂速度。并將這個算法應(yīng)用于RoboCup的射門問題中，實現(xiàn)了射門問題的優(yōu)化。 (2)在模