Markov控制過程的優(yōu)化理論和算法.pdf

1、現(xiàn)實世界中的很多隨機人造系統(tǒng),如高速通訊網(wǎng)絡、柔性制造系統(tǒng)、質(zhì)量管理系統(tǒng)等,都可用Markov過程來建模,為適應這類問題的優(yōu)化控制和設計的需要,論文重點研究了一類Markov控制過程在無限時間水平平均性能準則下的優(yōu)化理論和優(yōu)化算法.性能勢在Markov系統(tǒng)的分析和研究中起著重要作用.我們用廣義Poisson方程的解來定義Markov性能勢,并通過平衡方程和廣義Poisson方程,建立了連續(xù)時間Markov控制過程基于性能勢的最優(yōu)性原理,

2、以及基于性能勢的平均代價最優(yōu)性方程,又稱之為基于性能勢的Bellman最優(yōu)性方程,在較弱的假設條件下,我們得到了這個最優(yōu)性方程在緊致行動集上解的存在性定理,給出了求解平均代價最優(yōu)策略的幾種算法,即梯度算法、策略迭代算法和數(shù)值迭代算法,并且詳細地研究了迭代算法的收斂性,說明了這些算法在有限步內(nèi)能確保得到epsilon-最優(yōu)策略.這些研究結(jié)果都能直接運用到離散時間Markov控制過程中,并且為進一步研究一般Markov控制過程的優(yōu)化問題和設