連續(xù)時間統(tǒng)一MAXQ算法及其應(yīng)用研究.pdf

1、具有抽象機制的分層強化學(xué)習(xí)方法可以實現(xiàn)狀態(tài)空間的降維，從而解決大規(guī)模系統(tǒng)中的“維數(shù)災(zāi)”問題。由于引入了狀態(tài)抽象機制，分層強化學(xué)習(xí)可以加快策略學(xué)習(xí)的速率并且節(jié)約學(xué)習(xí)過程中狀態(tài)－行動對的存儲空間。典型的分層強化學(xué)習(xí)有Option算法、HAM算法以及MAXQ算法。然而傳統(tǒng)的分層強化學(xué)習(xí)算法大都是建立在離散時間半Markov模型或者離散時間多Agent半Markov模型的框架下的，無法解決連續(xù)時間情況下單Agent、多Agent的學(xué)習(xí)系統(tǒng)問題，

2、并且算法只能單獨適用于平均準(zhǔn)則或者是折扣準(zhǔn)則。
　　 本文在性能勢理論框架下，結(jié)合現(xiàn)有的MAXQ算法思想和連續(xù)時間SMDP模型，提出一種同時適用于平均和折扣性能準(zhǔn)則的連續(xù)時間統(tǒng)一MAXQ算法。由于Web服務(wù)組合問題可以建模成半Markov決策過程模型，因此本文將提出的算法應(yīng)用于Web服務(wù)組合問題中，以驗證算法具有實際意義。另外，通過旅游預(yù)訂系統(tǒng)作為仿真實例，說明該算法與Q學(xué)習(xí)相比，具有優(yōu)化精度高、優(yōu)化速度快和節(jié)約存儲空間的優(yōu)勢。

3、
　　 但是，由于單Agent的能力有限，越來越多的復(fù)雜問題需要通過多Agent的相互協(xié)作來解決。因此本文結(jié)合性能勢理論和之前構(gòu)造的連續(xù)時間統(tǒng)一MAXQ算法思想，又提出了一種同時適用于平均和折扣性能準(zhǔn)則的多Agent連續(xù)時間統(tǒng)一MAXQ算法，并將該算法應(yīng)用于解決多Agent連續(xù)時間Web服務(wù)組合問題中。最后通過旅游預(yù)訂系統(tǒng)作為仿真實例，說明該算法比single-Agent MAXQ和selfish multi-Agent MAX