基于模型知識的大空間強化學習算法的研究與實現(xiàn).pdf

1、強化學習是一種無監(jiān)督的機器學習技術，能夠利用不確定的環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列，實現(xiàn)動態(tài)環(huán)境下的在線學習，因此被廣泛用于Agent的智能決策。 Q學習算法是目前主流的強化學習算法之一，但Q學習本身存在一些問題。首先，Q學習算法沒有充分利用學習過程中的經(jīng)驗知識，致使算法收斂速度較慢；其次，Q學習算法不能適用于連續(xù)狀態(tài)空間和動作空間的學習，雖然模糊強化學習算法可以在一定程度上解決此問題，但是由于模糊隸屬函數(shù)的選取是建立在主觀經(jīng)驗的基

2、礎上的，缺乏對求解問題的真實描述。本文針對RoboCup中的具體問題，結合其它學習方法對Q學習算法進行了一些擴充和改進，使其適用于復雜環(huán)境下的Agent智能決策。本文的主要研究工作如下： (1)在Q學習算法的基礎上，通過對agent所處環(huán)境的學習，使其有效利用先前學習到的模型知識重新指導Q學習，減小搜索空間，從而節(jié)約時間，提高學習的收斂速度。并將這個算法應用于RoboCup的射門問題中，實現(xiàn)了射門問題的優(yōu)化。 (2)在模