基于點的值迭代算法在POMDP問題中的研究.pdf

1、部分可觀測馬爾可夫決策過程(Partially Observable Markov Decision Process, POMDP)是馬爾可夫決策過程(Markov Decision Process, MDP)的擴展。在POMDP框架下，由于環(huán)境狀態(tài)是部分可感知的，求解POMDP問題非常困難?；邳c的值迭代思想使得對POMDP問題的求解取得了重大突破。當(dāng)前POMDP問題的很多求解方法都是在這個基本思想上拓展的，主要是對可信空間子集的選擇

2、方法和值函數(shù)更新的次序進行改進。本文主要研究可信空間子集的選擇方法，針對當(dāng)前方法的不足，提出幾種改進的基于點的近似值迭代算法：
　　(1)對于大規(guī)模POMDP問題，傳統(tǒng)的求解算法收集可信狀態(tài)是不可控制的。針對該問題，提出一種改進的啟發(fā)式搜索值迭代算法(Heuristic Search Value Iteration, HSVI)。該算法以可達性作為啟發(fā)式標(biāo)準(zhǔn)來搜索具有重大價值的可信狀態(tài)點，然后在這些點上對值函數(shù)進行局部更新，獲得有

3、效的近似最優(yōu)策略。
　　(2)在POMDP問題的近似算法中，使用基于試驗的異步值迭代的HSVI算法能夠處理規(guī)模最大的POMDP問題。然而，HSVI算法需要同時保存最優(yōu)值函數(shù)的上界和下界并更新它們，而且更新上界時需要非常復(fù)雜的計算，這都大大降低了算法的性能。針對 HSVI算法的缺點，本文提出另一種改進的向前搜索值迭代算法(Forward Search Value Iteration, FSVI)，該算法利用MDP的最優(yōu)策略來選擇可信