帶泊松跳躍的正倒向隨機(jī)最優(yōu)控制理論及其應(yīng)用.pdf

1、隨機(jī)最優(yōu)控制是現(xiàn)代控制理論中的重要問題。這類問題總是要求控制者在容許控制集合中最小化/最大化某個指標(biāo)泛函來滿足一個狀態(tài)方程(隨機(jī)控制系統(tǒng))。取得最小值/最大值的容許控制稱為最優(yōu)控制，相應(yīng)的狀態(tài)變量和指標(biāo)泛函分別稱為最優(yōu)軌線和值函數(shù)。眾所周知，龐特里亞金(Pontryagin)的最大值原理和貝爾曼(Bellman)的動態(tài)規(guī)劃原理是解決隨機(jī)最優(yōu)控制問題的兩種主要的和最通常使用的方法。在最大值原理的表述中，給出了最優(yōu)控制滿足的必要條件；這一條

2、件總是由某個哈密頓(Hamilton)函數(shù)來給出，稱為最大值條件。哈密頓函數(shù)是針對系統(tǒng)狀態(tài)變量和某些對偶變量來定義的。對偶變量滿足的方程稱為對偶方程，是一個或兩個巴赫杜-彭(Pardoux-Peng)型的倒向隨機(jī)微分方程(BSDE)。包含對偶方程、狀態(tài)方程和最大值條件的系統(tǒng)稱作廣義哈密頓系統(tǒng)。另一方面，動態(tài)規(guī)劃原理的基本思想是考慮一族不同初始時刻和初始狀態(tài)的隨機(jī)最優(yōu)控制問題，去建立這族問題與稱作哈密頓-雅各比-貝爾曼(Hamilton-

3、Jacobi-Belman，HJB)方程的二階偏微分方程(PDE)之間的聯(lián)系。如果HJB方程可解，則我們可以通過最大化/最小化HJB方程中的廣義哈密頓函數(shù)來得到最優(yōu)控制，這一結(jié)果稱為隨機(jī)驗證定理(SVT)。這兩種方法已經(jīng)各自獨立地取得了發(fā)展；最近的文獻(xiàn)中存在一些關(guān)于這兩種方法之間關(guān)系的研究。
　　 這篇論文旨在發(fā)展和完善隨機(jī)最優(yōu)控制理論，特別是帶泊松(Poisson)跳躍的正倒向問題。在這類問題中，帶泊松跳躍的隨機(jī)微分方程(SD

4、EP)、倒向隨機(jī)微分方程(BSDEP)和正倒向隨機(jī)微分方程(FBSDEP)經(jīng)常出現(xiàn)。這類方程的解不連續(xù)，原因是這些方程中的隨機(jī)干擾來自于布朗(Brown)運動和泊松隨機(jī)測度。泊松隨機(jī)測度是與某個跳過程聯(lián)系的計數(shù)測度。具體地說，泊松隨機(jī)測度度量某個不連續(xù)過程在某段時間內(nèi)、跳的幅度包含于某個可測集的跳的次數(shù)。也就是說，泊松隨機(jī)測度包含了某個不連續(xù)(跳)過程的所有信息：它告訴我們什么時刻跳以及跳的幅度有多大。帶泊松跳躍的正倒向隨機(jī)最優(yōu)控制理論

5、在工程和金融市場中有很廣泛的實際應(yīng)用前景。
　　 在第二章中，我們研究跳擴(kuò)散過程隨機(jī)最優(yōu)控制問題的最大值原理與動態(tài)規(guī)劃原理之間的關(guān)系，這里系統(tǒng)的狀態(tài)過程用SDEP來描述。首先，在溫和的假設(shè)條件下，我們給出了值函數(shù)的某些基本性質(zhì)并且證明了動態(tài)規(guī)劃原理在跳擴(kuò)散框架下仍然成立。然后我們給出了相應(yīng)的廣義HJB方程，它現(xiàn)在是一個包含廣義哈密頓函數(shù)的二階偏積分-微分方程(PIDE)。其次，在假設(shè)值函數(shù)光滑(連續(xù)可微)的條件下，我們建立了最大

6、值原理與動態(tài)規(guī)劃原理之間的關(guān)系。再次，不假設(shè)值函數(shù)光滑，利用粘性解理論，我們同樣得到了最大值原理與動態(tài)規(guī)劃原理之間的關(guān)系。最后，首先假設(shè)值函數(shù)光滑，我們得到了一個隨機(jī)驗證定理，通過它我們可以最大化廣義哈密頓函數(shù)來得到最優(yōu)控制。在粘性解的框架下，我們還證明了不包含值函數(shù)的任何導(dǎo)數(shù)的隨機(jī)驗證定理的另一版本。
　　 非線性BSDE首先由Pardoux和Peng[74]引入。Duffie和Epstein[35]獨立地從經(jīng)濟(jì)背景下同樣引入

7、了BSDE。在[35]中，他們給出了遞歸效用的一種隨機(jī)微分表述。遞歸效用是標(biāo)準(zhǔn)的可加效用的推廣，其當(dāng)前效用不僅依賴于當(dāng)前消費率而且依賴于未來的效用。El Karoui，Peng和Quenez[37]發(fā)現(xiàn)，遞歸效用過程可以用一個BSDE的解來表示。從BSDE觀點，[37]還給出了遞歸效用的另外表述和性質(zhì)。從而，隨機(jī)最優(yōu)控制問題，如果其指標(biāo)泛函由某個BSDE的解來描述，則構(gòu)成了隨機(jī)遞歸最優(yōu)控制問題。在第三章中，我們考慮一類帶泊松跳躍的隨機(jī)遞

8、歸最優(yōu)控制問題，其指標(biāo)泛函由某個BSDEP的解來描述。對這一問題，應(yīng)用Peng[79]中的隨機(jī)后向半群的概念，Li和Peng[59]最近得到了相應(yīng)的動態(tài)規(guī)劃原理，并且證明了值函數(shù)是某個廣義HJB方程的粘性解。我們則研究這一隨機(jī)遞歸最優(yōu)控制問題的最大值原理與動態(tài)規(guī)劃原理之間的關(guān)系。為此，我們首先證明了一類帶泊松跳躍的正倒向隨機(jī)控制系統(tǒng)的局部最大值原理。并且，我們證明了加上某些凸/凹性假設(shè)條件，上述最大值原理也是充分的。我們還討論了這一結(jié)果

9、在金融市場中一類均值-方差投資組合選擇混合一個遞歸效用泛函的優(yōu)化問題中的應(yīng)用。然后，假設(shè)值函數(shù)光滑，我們得到了相應(yīng)的隨機(jī)最大值原理與動態(tài)規(guī)劃原理之間的關(guān)系。作為應(yīng)用，我們討論了金融市場中一類線性二次(LQ)遞歸投資組合優(yōu)化問題。在這一例子中，利用最大值原理和動態(tài)規(guī)劃原理都得到了同樣的最優(yōu)控制，二者的關(guān)系也得到了驗證。
　　 LQ隨機(jī)最優(yōu)控制問題是隨機(jī)最優(yōu)控制問題中最重要的例子，特別是由于其優(yōu)良的結(jié)構(gòu)和在工程設(shè)計中的廣泛應(yīng)用。在第

10、四章中，我們研究一類帶泊松跳躍的耦合正倒向LQ隨機(jī)最優(yōu)控制問題，在金融市場中當(dāng)考慮“大戶投資者”時會碰到這類最優(yōu)控制問題。我們證明了存在惟一的最優(yōu)控制并給出了其狀態(tài)反饋形式。當(dāng)所有系數(shù)是確定性的時候，利用一類廣義矩陣值黎卡提(Riccati)方程系統(tǒng)的解，我們得到了最優(yōu)控制的線性狀態(tài)反饋調(diào)節(jié)器。我們還討論了這類黎卡提方程的可解性。
　　 系數(shù)受連續(xù)時間馬爾科夫(Markov)鏈調(diào)節(jié)的隨機(jī)微分方程(SDE)來自于金融市場中為反映更

11、現(xiàn)實的隨機(jī)市場環(huán)境而出現(xiàn)的體制轉(zhuǎn)換模型。在體制轉(zhuǎn)換模型中，市場參數(shù)依賴于在有限個狀態(tài)之間轉(zhuǎn)換的市場模式。不同的市場模式可以反映潛在的市場狀態(tài)、投資者的心情以及其他經(jīng)濟(jì)因素。最近，博士論文[97]中引入了帶馬爾科夫鏈的BSDE，其生成元受隨機(jī)干擾并且用一個連續(xù)時間馬爾科夫鏈來描述。受一個帶馬爾科夫鏈調(diào)節(jié)的帶泊松跳躍的LQ隨機(jī)最優(yōu)控制問題的驅(qū)使，在第五章中，我們推廣[97]中的部分結(jié)果至不連續(xù)情形。也就是說，我們考慮帶馬爾科夫鏈的BSDEP

12、。在假設(shè)生成元滿足全局李普希茲(Lipschitz)條件下，利用某些推廣的鞅表示定理，我們得到了其解的存在惟一性結(jié)果。我們還討論了解過程的性質(zhì)，得到了一維情形下的比較定理。
　　 這篇論文的另一個目的是研究部分可觀測的完全耦合正倒向隨機(jī)最優(yōu)控制問題。部分可觀測的最優(yōu)控制問題的最重要的特征之一是其有更實際的背景。具體地說，實際上控制者不能完全觀測到系統(tǒng)狀態(tài)，在大多數(shù)情況下只能觀測到與系統(tǒng)狀態(tài)相關(guān)的某個噪聲過程。最近，很多研究興趣已

13、經(jīng)被吸引到完全耦合的正倒向隨機(jī)控制系統(tǒng)上來。一個原因是理論本身是有趣的并富有挑戰(zhàn)性。另一方面，在金融市場中，當(dāng)考慮“大戶投資者”的投資組合優(yōu)化問題時會碰到這類控制系統(tǒng)。這時的狀態(tài)過程用完全耦合的正倒向隨機(jī)微分方程(FBSDE)來描述。在第六章中，假設(shè)控制域可能非凸，利用針狀變分、對偶和濾波技術(shù)，我們得到了一類部分可觀測的完全耦合正倒向隨機(jī)控制系統(tǒng)的最大值原理。為了解釋理論結(jié)果，我們給了一個例子討論部分可觀測的完全耦合LQ正倒向隨機(jī)最優(yōu)控