基于狀態(tài)聚類的MAXQ任務(wù)自動分層研究.pdf

1、強(qiáng)化學(xué)習(xí)是指從環(huán)境狀態(tài)到動作映射的學(xué)習(xí)，它通過試錯使得系統(tǒng)從環(huán)境獲得的累積獎賞的期望值最大。強(qiáng)化學(xué)習(xí)中的學(xué)習(xí)參數(shù)個數(shù)會隨著環(huán)境狀態(tài)、動作維數(shù)成指數(shù)級增長，從而產(chǎn)生維數(shù)災(zāi)難問題。分層強(qiáng)化學(xué)習(xí)(Hierarchical Reinforcement Learning，HRL)是解決強(qiáng)化學(xué)習(xí)維數(shù)災(zāi)難問題的一種重要方法。分層強(qiáng)化學(xué)習(xí)引入了抽象機(jī)制來實(shí)現(xiàn)狀態(tài)空間降維，抽象技術(shù)允許忽略與當(dāng)前決策無關(guān)的一些細(xì)節(jié)而僅僅考慮那些相關(guān)的重要因素從而實(shí)現(xiàn)降維。

2、目前分層強(qiáng)化學(xué)習(xí)中三種典型的方法分別是Sutton等人提出的Option、Parr提出的HAM和Dietterich提出的MAXO。分層強(qiáng)化學(xué)習(xí)存在的一個重要問題是任務(wù)的層次圖需要由設(shè)計者根據(jù)專家知識事先給定。由于手工構(gòu)造任務(wù)的層次結(jié)構(gòu)需要具備和任務(wù)環(huán)境相關(guān)的專家知識，這將耗費(fèi)大量的手工勞動并且不能滿足動態(tài)未知環(huán)境的需要。于是如何自動發(fā)現(xiàn)并構(gòu)造任務(wù)的層次圖成為分層強(qiáng)化學(xué)習(xí)的一個重要問題。
　　而目前大部分分層強(qiáng)化學(xué)習(xí)的自動分層方法

3、都針對Option方法的。其主要的研究成果包括Hengst提出的HEXQ自動分層方法以及Jonsson和Barto提出的一種分析變量影響結(jié)構(gòu)的自動分層方法VISA。由于MAXQ方法能夠更好地利用先驗(yàn)知識并且具有更強(qiáng)的在線學(xué)習(xí)能力，故而關(guān)于MAXQ任務(wù)層次圖的自動發(fā)現(xiàn)研究具有非常重要的意義。目前，關(guān)于MAXQ任務(wù)層次圖自動發(fā)現(xiàn)的研究成果主要有HI-MAT方法，但是HI-MAT得到的任務(wù)層次圖依賴于觀察到的一條成功的執(zhí)行軌跡，從而得到任務(wù)層

4、次圖空間中和這條軌跡一致的任務(wù)層次圖，這樣容易陷入局部最優(yōu)。本文提出一種基于目標(biāo)環(huán)境因果圖的MAXO任務(wù)層次圖的優(yōu)化方法AEHM(Auto-adjustment andEvolution of Hierarchy for MAXQ)。AEHM根據(jù)目標(biāo)環(huán)境的因果圖調(diào)整在任務(wù)層次圖空間中搜索的方向，從而加快搜索并得到更優(yōu)化的結(jié)果。本方法使用了遺傳編程算法在任務(wù)層次圖空間中進(jìn)行啟發(fā)式搜索，其遺傳算子(主要包括交叉、變異運(yùn)算)運(yùn)算時保持任務(wù)層次