基于動(dòng)作抽象的分層強(qiáng)化學(xué)習(xí)算法研究.pdf

1、強(qiáng)化學(xué)習(xí)可以通過與環(huán)境交互完成自主學(xué)習(xí)與優(yōu)化，是一類重要的機(jī)器學(xué)習(xí)方法。然而強(qiáng)化學(xué)習(xí)也存在若干難點(diǎn)亟待解決，如“維數(shù)災(zāi)難”問題，在提高算法效果的前提下同時(shí)提高算法效率等。作為強(qiáng)化學(xué)習(xí)中的一個(gè)重要領(lǐng)域，分層強(qiáng)化學(xué)習(xí)將學(xué)習(xí)任務(wù)分解成多個(gè)子任務(wù)然后分別求解，可以有效地解決強(qiáng)化學(xué)習(xí)問題中的“維數(shù)災(zāi)難”問題并提高算法效率。
　　抽象機(jī)制是分層強(qiáng)化學(xué)習(xí)主要實(shí)現(xiàn)方法，包括動(dòng)作抽象、任務(wù)抽象和狀態(tài)抽象。本文圍繞如何快速高效地發(fā)現(xiàn)抽象動(dòng)作以及如何高

2、效地利用好抽象動(dòng)作展開研究，提出了幾種控制優(yōu)化和自動(dòng)發(fā)現(xiàn)抽象動(dòng)作的分層強(qiáng)化學(xué)習(xí)算法，主要包括以下三部分內(nèi)容：
　?。?）經(jīng)典的基于Option框架的抽象動(dòng)作方法不能很好解決動(dòng)態(tài)環(huán)境下的學(xué)習(xí)和控制問題，針對(duì)此問題，本文提出一種在線學(xué)習(xí)的使用可中斷動(dòng)作抽象的算法(Interrupting Macro-Q，IMQ)。IMQ通過原有抽象動(dòng)作算法基礎(chǔ)上引入中斷，能夠有效解決動(dòng)態(tài)環(huán)境下一般強(qiáng)化學(xué)習(xí)算法由于時(shí)間復(fù)雜度過高而不能解決的問題。IMQ

3、算法將中斷的思想與動(dòng)態(tài)環(huán)境的特性相結(jié)合，在動(dòng)態(tài)的環(huán)境下學(xué)習(xí)并改進(jìn)控制策略，提高了算法的學(xué)習(xí)和控制效率。
　?。?）基于多樣性密度度量方法的抽象動(dòng)作發(fā)現(xiàn)算法軌跡采樣噪聲大，導(dǎo)致Agent識(shí)別子目標(biāo)時(shí)間長且學(xué)習(xí)效果差，針對(duì)此問題，本文提出一種采用無環(huán)軌跡降噪的多樣性密度度量抽象動(dòng)作發(fā)現(xiàn)算法。該算法對(duì)Agent得到的軌跡樣本進(jìn)行降噪處理，達(dá)到減少學(xué)習(xí)時(shí)間和優(yōu)化抽象動(dòng)作的效果。該算法避免了過度采樣導(dǎo)致的計(jì)算量過大的問題，不但能夠大大降低識(shí)

4、別子目標(biāo)所需要的時(shí)間，而且能夠發(fā)現(xiàn)較好的抽象動(dòng)作，提高了算法的學(xué)習(xí)效率。
　?。?）傳統(tǒng)的基于離散時(shí)間半馬爾科夫決策過程(Discrete-time Semi-Markov Decision Processes，DT-SMDP)的自動(dòng)分層強(qiáng)化學(xué)習(xí)方法無法直接用于解決連續(xù)時(shí)間無窮任務(wù)，針對(duì)此問題，本文提出一種基于連續(xù)時(shí)間半馬爾科夫決策過程(Continues-time Semi-Markov Decision Processes，C