半馬氏決策過程中的首達目標準則.pdf

1、本文致力于研究半馬氏決策過程中的幾個首達目標準則，包括首達目標期望準則、風險概率準則、首達目標概率準則和受約束首達目標準則。與通常的無限階段期望折扣準則和平均準則不同，首達目標準則關(guān)注的是系統(tǒng)首次到達某些狀態(tài)集前的性能和行為，具有豐富的實際背景和應(yīng)用意義。然而，據(jù)我們所知，首達目標準則在半馬氏決策過程中還沒有文獻研究，本文首次在半馬氏決策過程中研究這些準則。我們針對這些首達目標準則，得到了各準則下的最優(yōu)策略存在性條件及其計算方法.全文分

2、為六章，詳情如下。
　　 第一章為綜述，介紹半馬氏決策過程的歷史背景和發(fā)展現(xiàn)狀，正式引入半馬氏決策過程的模型、相關(guān)概念和常用的最優(yōu)準則，并概述本文的選題依據(jù)、研究內(nèi)容和主要結(jié)果。
　　 第二章討論可數(shù)狀態(tài)半馬氏決策過程的首達目標期望準則，即優(yōu)化目的是最小化系統(tǒng)到達目標狀態(tài)集前的期望總費用。對于這個準則，已有文獻在離散時間馬氏決策過程和連續(xù)時間跳馬氏決策過程中研究，本章首次在更一般的半馬氏決策過程中研究這個準則。我們考慮非

3、負的費用率函數(shù)，即其有下界但不一定有上界，這比已有文獻(關(guān)于離散時間和連續(xù)時間跳馬氏決策過程首達目標期望準則的工作)要求報酬或費用函數(shù)有界的條件寬松.不同于上述已有文獻利用不動點理論建立最優(yōu)方程，我們利用最小非負解方法在適當條件下建立了最優(yōu)方程和最優(yōu)策略的存在性，并得到最優(yōu)策略的一些性質(zhì)和計算值函數(shù)的值迭代算法。由于我們采用的是最小非負解方法而不是不動點理論，本章不需要類似于已有文獻保證動態(tài)規(guī)劃算子為壓縮算子的條件。在本章最后，我們說明

4、半馬氏決策過程的首達目標期望準則可退化為離散時間馬氏決策過程和連續(xù)時間跳馬氏決策過程的首達目標期望準則。
　　 第三章研究可數(shù)狀態(tài)半馬氏決策過程的風險概率準則，即優(yōu)化目的是最小化系統(tǒng)首達目標狀態(tài)集的時間不超過給定閾值的風險概率.對于這個準則，已有文獻的工作集中在離散時間馬氏決策過程和連續(xù)時間跳馬氏決策過程中，本章首次在更一般的半馬氏決策過程中研究這個準則.我們引入了比已有文獻(關(guān)于離散時間和連續(xù)時間跳馬氏決策過程風險概率準則的工

5、作)更廣泛的新策略類，其不僅依賴于通常的狀態(tài)和行動，也依賴于閾值.在這個新策略類中，我們刻畫風險函數(shù)和值函數(shù)的特征，用逐步逼近方法證明值函數(shù)滿足最優(yōu)方程，并進一步得到最優(yōu)策略存在性條件。由于我們考慮的策略類比已有文獻的策略類更一般化，本章得到的最優(yōu)策略存在性條件比已有文獻(關(guān)于離散時間和連續(xù)時間跳馬氏決策過程風險概率準則的工作)的結(jié)果寬松很多.另外，也給出了分別用于計算值函數(shù)和最優(yōu)策略的值迭代和策略迭代算法.我們用兩個例子說明風險函數(shù)的

6、基本特征和值迭代算法計算值函數(shù)的過程。
　　 第四章考慮Borel狀態(tài)空間和行動空間的半馬氏決策過程，優(yōu)化準則是首達目標概率準則，即優(yōu)化目的是最小化系統(tǒng)首達目標狀態(tài)集前所產(chǎn)生的總報酬不超過給定水平的概率.在目前文獻中，關(guān)于首達目標概率準則的工作集中于離散時間馬氏決策過程，在更一般的半馬氏決策過程中還沒有研究，本章首次在半馬氏決策過程中研究這個準則.我們引入不僅與狀態(tài)和行動有關(guān)，也與報酬水平有關(guān)的策略類，然后在“緊-連續(xù)”條件下，

7、利用半馬氏決策過程的模型特征推演得到值迭代算法.在值迭代算法的基礎(chǔ)上，我們進一步建立最優(yōu)方程和最優(yōu)策略的存在性，并得到加在模型原始數(shù)據(jù)上從而易于驗證的最優(yōu)策略存在的充分條件.值得指出的是，本章考慮一般的Borel狀態(tài)和行動空間，不同于已有文獻(關(guān)于離散時間馬氏決策過程首達目標概率準則的工作)考慮可數(shù)狀態(tài)和行動空間的情形,“緊-連續(xù)”條件對本章結(jié)果是必要和基本的.我們用一個數(shù)值算例說明本章結(jié)果。
　　 第五章討論可數(shù)狀態(tài)半馬氏決策

8、過程的受約束首達目標準則，即優(yōu)化問題是在系統(tǒng)到達目標狀態(tài)集前的期望總費用不超出給定約束值的策略類中，尋找使系統(tǒng)到達目標狀態(tài)集前的期望總報酬最大的策略.據(jù)我們所知，無論是在離散時間馬氏決策過程中，還是在連續(xù)時間跳馬氏決策過程或半馬氏決策過程中，這個準則都還未見文獻研究.本章考慮半馬氏決策過程的受約束首達目標準則.在行動空間為Borel空間，報酬/費用率可能既無上界也無下界的假設(shè)下，我們給出保證約束最優(yōu)策略存在的條件，并說明約束最優(yōu)策略至多

9、在一個狀態(tài)隨機化.與已有文獻關(guān)于標準的受約束無限階段期望折扣準則的結(jié)果相比，我們的最優(yōu)性條件僅加在非目標狀態(tài)集上而不是整個狀態(tài)空間，從而是較弱的。另外，我們的結(jié)果對無折扣情形直接成立，而不需要引入其它任何條件。我們用一個維修系統(tǒng)的例子說明本章的條件。
　　 第六章總結(jié)本文工作，并展望進一步的工作。
　　 總的來說,半馬氏決策過程是一類狀態(tài)逗留時間允許服從任意概率分布的馬氏決策過程，可以描述在隨機時間點上采取決策的許多控制