解決強化學習中維數(shù)災(zāi)問題的方法研究.pdf

1、針對強化學習任務(wù)中存在的“維數(shù)災(zāi)”(即狀態(tài)空間的大小隨著特征數(shù)量的增加而發(fā)生指數(shù)級的增長)及收斂速度慢兩個普遍且嚴重的問題,本文分別從獎賞函數(shù)、分層強化學習和函數(shù)估計等不同的角度來給出解決方法,提出了基于啟發(fā)式獎賞函數(shù)的分層強化學習算法和基于神經(jīng)網(wǎng)絡(luò)的強化學習算法。同時,在所提理論的基礎(chǔ)上,分別開發(fā)了俄羅斯方塊、Mountain car和Grid World等實驗平臺,將上述算法應(yīng)用到實驗中,通過實驗分析,進一步驗證所提算法在解決“維數(shù)

2、災(zāi)”問題方面的正確性和有效性。本文的主要研究成果概括為以下五個方面:
　　 (1)提出了一種基于啟發(fā)式獎賞函數(shù)的分層強化學習算法,并從理論上證明了該算法的收斂性。該算法通過在子任務(wù)中加入啟發(fā)式獎賞信息,使Agent的探索速度大大提高。該算法不僅可以部分解決“維數(shù)災(zāi)”問題,而且可以加快任務(wù)的收斂速度。
　　 (2)開發(fā)了俄羅斯方塊游戲的實驗平臺,并將基于啟發(fā)式獎賞函數(shù)的分層強化學習算法應(yīng)用于該平臺。實驗結(jié)果驗證了該算法不僅

3、能夠大幅度的減少環(huán)境狀態(tài)空間,能在一定程度上緩解“維數(shù)災(zāi)”問題,而且還具有很好的收斂速度。
　　 (3)針對“維數(shù)災(zāi)”問題,提出了將神經(jīng)網(wǎng)絡(luò)應(yīng)用于強化學習中的一種新算法QL-BP算法。該算法利用神經(jīng)網(wǎng)絡(luò)強大的函數(shù)逼近能力,使學習系統(tǒng)不需要遍歷每個狀態(tài)或狀態(tài)-動作對就可以給出正確的值函數(shù),空間復(fù)雜度顯著降低。
　　 (4)針對QL-BP算法在實驗初期因為樣本誤差較大而出現(xiàn)的震蕩、收斂速度慢以及在學習后期會出現(xiàn)過擬合現(xiàn)象等問