部分可觀馬爾科夫決策過程直接基于觀測的優(yōu)化方法研究.pdf

1、隨機動態(tài)系統(tǒng)性能優(yōu)化問題一直是眾多科學領域的熱點問題。對于一些狀態(tài)具有馬氏特征的復雜隨機動態(tài)系統(tǒng)，系統(tǒng)的狀態(tài)往往不可觀，能夠獲得的是與系統(tǒng)狀態(tài)存在一定關聯(lián)的觀測量。對于這一類狀態(tài)具有馬氏特征的復雜隨機動態(tài)系統(tǒng)，Markov決策過程模型優(yōu)化方法無法較高效地處理。因此部分可觀Markov決策過程(POMDPs)作為Markov決策過程數學模型的推廣被提出。部分可觀Markov決策過程模型可以很好地刻畫系統(tǒng)狀態(tài)未知的這一類系統(tǒng)，具有比Mark

2、ov決策過程更廣泛的應用性。
　　針對Markov決策過程性能優(yōu)化問題，眾多領域給出了不同的解決方法。近年來，一種基于靈敏度分析的優(yōu)化方法被提出。該方法為眾多領域的不同優(yōu)化方法的有機地結合，形成了以性能勢理論為基礎，性能靈敏度公式為核心的優(yōu)化方法。目前，對于部分可觀Markov決策過程模型，基于系統(tǒng)觀測的部分可觀Markov決策過程的性能差分公式和性能導數公式已經被導出。不過目前給出的靈敏度公式的推導過程需要滿足不同策略條件下條件

3、穩(wěn)態(tài)概率相同的假設;另外推導過程中一些參數和公式還依賴于系統(tǒng)狀態(tài)。上述兩個限制導致目前提出的基于觀測的部分可觀Markov決策過程的性能靈敏度的優(yōu)化方法只能被應用于一些特殊的排隊系統(tǒng)，不能被推廣到一般的部分可觀Markov決策過程。
　　本文在目前已給出的部分可觀Markov決策過程基于性能靈敏度方法基礎上，提出一種新的直接基于觀測的性能靈敏度優(yōu)化方法。該方法僅依據于可被獲得的系統(tǒng)觀測空間。我們將給出僅僅依賴于觀測的性能勢、報酬函

4、數等相關系統(tǒng)參數的定義。并根據基于觀測的性能勢與傳統(tǒng)性能勢的關系，推導出基于觀測的泊松方程。整個推導過程僅僅依據于系統(tǒng)的觀測，無需其他苛刻的條件限制。基于新方法的性能靈敏度分析可被推廣到一般的部分可觀Markov決策過程中，因此有廣泛的實際應用性。本文將注重性能差公式的推導過程，并導出一種新的策略迭代算法。該算法可尋找出基于新方法的次優(yōu)策略。
　　本文針對大規(guī)模部分可觀Markov決策過程模型的優(yōu)化問題給出一種基于遞階控制理論的策