基于貝葉斯理論的行動(dòng)者評(píng)論家算法研究.pdf

1、強(qiáng)化學(xué)習(xí)作為一種重要的機(jī)器學(xué)習(xí)方法，其兩個(gè)特征是模型無關(guān)性和在線學(xué)習(xí)性。智能體通過與環(huán)境交互，利用環(huán)境反饋的信息，即獎(jiǎng)賞來調(diào)整和改善自己的行為，最終獲得最優(yōu)策略。強(qiáng)化學(xué)習(xí)領(lǐng)域的一個(gè)研究難點(diǎn)是如何在大規(guī)模或連續(xù)空間中平衡探索與利用的問題。
　　本文對(duì)大規(guī)?；蜻B續(xù)空間可能帶來的“維數(shù)災(zāi)”問題和探索與利用的平衡問題展開分析，將行動(dòng)者評(píng)論家算法與貝葉斯理論相結(jié)合，提出兩種基于貝葉斯理論的行動(dòng)者評(píng)論家算法。主要研究概括為如下兩個(gè)方面：⑴針對(duì)

2、強(qiáng)化學(xué)習(xí)在大規(guī)?；蜻B續(xù)空間中算法易產(chǎn)生“維數(shù)災(zāi)”的問題與探索與利用難以平衡的問題，提出一種基于高斯過程時(shí)間差分的行動(dòng)者評(píng)論家算法。該算法在行動(dòng)者部分使用時(shí)間差分誤差構(gòu)造關(guān)于策略參數(shù)的更新公式；在評(píng)論家部分利用高斯過程對(duì)線性帶參值函數(shù)建模，結(jié)合生成模型，根據(jù)貝葉斯推理，求解值函數(shù)的后驗(yàn)分布。實(shí)驗(yàn)表明，該算法能有效解決在大規(guī)?；蜻B續(xù)狀態(tài)空間中探索與利用的問題，且算法收斂速度較快。⑵提出一種基于高斯過程的離策略行動(dòng)者評(píng)論家算法，該算法在行動(dòng)者