半Markov切換空間控制過程及其應(yīng)用.pdf

1、隨著信息科學(xué)技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，出現(xiàn)了大量反映現(xiàn)代科學(xué)技術(shù)發(fā)展方向的網(wǎng)絡(luò)通信系統(tǒng)。在應(yīng)用需求的推動下，網(wǎng)絡(luò)通信系統(tǒng)的功能日益強大，結(jié)構(gòu)日趨復(fù)雜，加上多種控制策略與隨機變化的應(yīng)用環(huán)境頻繁交互，使得系統(tǒng)的動態(tài)行為更加復(fù)雜。網(wǎng)絡(luò)通信系統(tǒng)的性能分析和優(yōu)化為系統(tǒng)的設(shè)計提供依據(jù)，為系統(tǒng)的運行提供控制決策方案，在提高系統(tǒng)的運行效率和服務(wù)能力并提供服務(wù)質(zhì)量保證方面發(fā)揮著關(guān)鍵的作用。在諸如系統(tǒng)與控制、運籌學(xué)、計算機科學(xué)及人工智能等領(lǐng)域，出現(xiàn)了眾多用

2、于研究隨機動態(tài)系統(tǒng)性能與優(yōu)化的方法。實際網(wǎng)絡(luò)通信系統(tǒng)的復(fù)雜性與現(xiàn)有優(yōu)化方法的局限性，是該研究領(lǐng)域所面臨的挑戰(zhàn)。如何更好地描述系統(tǒng)的特征并加以有效利用，探索新的優(yōu)化方法，解決實際網(wǎng)絡(luò)通信系統(tǒng)中存在的關(guān)鍵技術(shù)問題，是當(dāng)前面臨的重要理論和應(yīng)用課題。 本文研究旨在面向現(xiàn)代網(wǎng)絡(luò)通信系統(tǒng)中的全新控制對象，探索有效的性能分析與優(yōu)化方法。系統(tǒng)地提出事件驅(qū)動的具有層次化動態(tài)結(jié)構(gòu)的半Markov切換空間控制過程，涉及到系統(tǒng)的建模、性能分析、基于事件

3、的優(yōu)化方法。通過對事件靈活定義和分類，并根據(jù)系統(tǒng)的動態(tài)特征，從狀態(tài)空間上將系統(tǒng)劃分為多個層級，使得模型的構(gòu)建具有很高的靈活性、普適性和可擴展性，提高對實際系統(tǒng)的描述能力。采用事件驅(qū)動的控制策略，以減小策略空間，大幅度降低優(yōu)化算法的計算復(fù)雜度，提高算法的實時性。利用事件驅(qū)動的策略特性及層次化的動態(tài)結(jié)構(gòu)信息，來降低優(yōu)化算法對系統(tǒng)參數(shù)信息的依賴，提高算法的自適應(yīng)性。探索網(wǎng)絡(luò)通信系統(tǒng)中一類關(guān)鍵技術(shù)問題的解決途徑，如無線多媒體通信網(wǎng)的適應(yīng)帶寬配置

4、、動態(tài)電源管理的策略優(yōu)化、新一代網(wǎng)絡(luò)媒體服務(wù)系統(tǒng)的建模與優(yōu)化，為現(xiàn)代信息服務(wù)業(yè)提供低代價、高性能、可擴展、易管理的控制決策方案。 通過對不同層級事件的定義，構(gòu)造在事件驅(qū)動控制策略下系統(tǒng)的半Markov核和擬無窮小矩陣，定義了性能函數(shù)、切換代價以及優(yōu)化的性能測度，提出了半Markov切換空間控制過程的模型?；诎隡arkov性能勢，推導(dǎo)半Markov切換空間過程的Poisson方程，進而構(gòu)造出事件驅(qū)動策略的靈敏度公式，包括性能梯度

5、和性能差公式。對于確定型策略的優(yōu)化，充分利用切換過程半。Markov核和擬無窮小矩陣中包含的層次化動態(tài)結(jié)構(gòu)信息，推導(dǎo)了事件驅(qū)動的切換控制策略的比較定理，擺脫策略迭代算法對轉(zhuǎn)移概率信息的依賴，實現(xiàn)算法的自適應(yīng)性；利用事件驅(qū)動的策略特性，放寬了策略迭代算法的適用性條件即行動不相關(guān)的前提，拓展了策略迭代算法的適用范圍；通過依據(jù)事件進行性能勢聚集，減少需要計算或估計的性能勢數(shù)量，有效降低計算的復(fù)雜度和提高算法的實時性。在此基礎(chǔ)上，提出了基于單樣

6、本軌道的在線自適應(yīng)策略迭代算法，證明了算法的收斂性。對于隨機型策略的優(yōu)化，在性能梯度公式的基礎(chǔ)上，結(jié)合性能勢基于單樣本軌道的表示形式，推導(dǎo)出平均性能測度關(guān)于事件驅(qū)動的切換控制策略的性能梯度基于單樣本軌道的估計式，進而結(jié)合隨機逼近算法，提出了基于策略梯度的在線自適應(yīng)優(yōu)化算法。利用事件驅(qū)動的策略特性，有效減小優(yōu)化算法的計算量，擺脫對系統(tǒng)參數(shù)的依賴，提高算法的自適應(yīng)性。系統(tǒng)的層次化動態(tài)結(jié)構(gòu)使得基于梯度的算法能夠收斂到全局最優(yōu)。研究無線多媒體通

7、信網(wǎng)的適應(yīng)帶寬配置，通過構(gòu)建事件驅(qū)動的隨機分析模型，將適應(yīng)帶寬配置問題轉(zhuǎn)化為一個帶約束的隨機優(yōu)化問題。在模型中，適應(yīng)帶寬配置和呼叫準(zhǔn)入控制構(gòu)成一個統(tǒng)一整體，考慮了各類業(yè)務(wù)的不同優(yōu)先級，區(qū)分了新到達呼叫與越區(qū)切換呼叫。考慮三種重要的QoS指標(biāo)作為約束，提出一種結(jié)合策略梯度估計和隨機逼近的在線自適應(yīng)優(yōu)化算法。該算法充分利用事件驅(qū)動的策略特性，計算和評估只需在事件發(fā)生的時刻進行，并且不依賴于系統(tǒng)參數(shù)的信息，對環(huán)境的變化具有良好的適應(yīng)性，能夠保

8、證收斂到全局最優(yōu)值，有效求解多種QoS指標(biāo)約束下的適應(yīng)帶寬配置問題。 考慮動態(tài)電源管理的隨機型策略和超時策略的優(yōu)化問題，構(gòu)建事件驅(qū)動的半Markov隨機切換模型，通過刻畫隨機環(huán)境中動態(tài)電源管理系統(tǒng)所表現(xiàn)出的典型的層次化動態(tài)，對實時系統(tǒng)的動態(tài)提供了精確的描述。對應(yīng)于隨機型策略和超時策略，提出了兩種在線自適應(yīng)優(yōu)化算法，充分利用事件驅(qū)動的策略特性及系統(tǒng)的層次化動態(tài)結(jié)構(gòu)信息，實現(xiàn)了實際應(yīng)用對算法的自適應(yīng)性、計算實時性和有效性的需求。通過

9、分析在隨機型策略和超時策略控制下動態(tài)電源管理系統(tǒng)的穩(wěn)態(tài)特性，揭示了這兩種類型的電源管理策略在性能與功耗均衡上的等效性，推導(dǎo)出二者之間的等效關(guān)系。 針對新一代網(wǎng)絡(luò)媒體服務(wù)系統(tǒng)采用分層控制機制的特點，提出了一個三層級的半Markov切換空間控制過程的系統(tǒng)分析模型，為自適應(yīng)資源部署、動態(tài)服務(wù)組合和用戶請求調(diào)度提供了一個綜合的性能分析和策略優(yōu)化框架。提出一種基于動態(tài)文件分組的流媒體服務(wù)器集群負載均衡策略，充分利用流化服務(wù)器的緩存來緩解存