有限階段半馬爾可夫決策過程.pdf

1、本文主要研究有限階段半馬爾可夫決策過程(簡記為SMDPs)。本文考慮有限階段期望報(bào)酬準(zhǔn)則，研究可數(shù)狀態(tài)空間，有限行動空間和無界報(bào)酬的模型。與無限階段半馬氏過程不同，在本文中當(dāng)系統(tǒng)達(dá)到計(jì)劃時(shí)間T后就立即結(jié)束，達(dá)到T之前系統(tǒng)的轉(zhuǎn)移次數(shù)是不確定的。本文希望找到一個(gè)方法來刻畫有限階段SMDPs的最優(yōu)方程和最優(yōu)策略。
　　 全文主要由三部分組成：
　　 第一部分簡單介紹了有限階段SMDPs的模型，通過引入剩余時(shí)間，首次給出了既依賴

2、于系統(tǒng)當(dāng)前狀態(tài)又依賴于系統(tǒng)當(dāng)前剩余時(shí)間的決策規(guī)則和策略，并在此基礎(chǔ)上構(gòu)建了概率空間和相應(yīng)的期望報(bào)酬最優(yōu)準(zhǔn)則。
　　 第二部分首先提出了全文的一個(gè)基本假設(shè).在給定假設(shè)的基礎(chǔ)上得到了一個(gè)計(jì)算策略π期望報(bào)酬的迭代算法。
　　 然后由不動點(diǎn)理論，本文證明了最優(yōu)值函數(shù)是最優(yōu)方程的唯一解，并給出了一個(gè)計(jì)算最優(yōu)值函數(shù)的迭代算法。另外，從最優(yōu)方程出發(fā)，本文證明了最優(yōu)平穩(wěn)策略的存在性和最優(yōu)策略的一些性質(zhì).最后用一個(gè)設(shè)備維護(hù)的實(shí)際例子進(jìn)一步