基于狀態(tài)預測的協(xié)作式多智能體強化學習算法研究.pdf

1、本文以協(xié)作式多智能體系統(tǒng)為研究對象，研究應用強化學習進行多智能體協(xié)作行為學習時遇到的“維數災難”問題。起源于單智能體系統(tǒng)的強化學習具有良好的自學習特性，為了提高多智能體系統(tǒng)協(xié)作行為的智能性和適應性，許多學者將強化學習引入到多智能體系統(tǒng)中，然而，強化學習本身存在“維數災難”問題，在引入到多智能體系統(tǒng)后，學習和存儲空間將隨著智能體個數的增加而呈指數級增長，“維數災難”問題變得更加嚴重，導致學習效率下降，甚至不能在有效時間內收斂，阻礙了其在多

2、智能體系統(tǒng)的推廣和應用。
　　 本文針對多智能體系統(tǒng)中強化學習的“維數災難”問題進行研究，通過在多智能體強化學習算法中引入狀態(tài)預測機制，將多智能體的學習空間進行合理、有效地分解，一方面，降低學習空間規(guī)模，緩解“維數災難”;另一方面，保證算法的收斂性，提高智能體決策水平。首先，利用強化學習的基本定義，分析強化學習在應用于多智能體系統(tǒng)中產生“維數災難”的根本原因，提出基于狀態(tài)預測的多智能體強化學習算法總體思路，為解決“維數災難”問題

3、提供理論支撐和方法指導。其次，從狀態(tài)預測角度出發(fā)，提出一種基于聯(lián)合狀態(tài)值函數逼近的多智能體強化學習算法。通過將學習過程分解為降維空間的強化學習和聯(lián)合狀態(tài)空間的值函數學習兩個并行過程，緩解“維數災難”問題，同時在一定假設基礎上給出算法的收斂性證明。然后，為突破上述假設，進一步拓展算法的適用范圍，采用一種新穎的思路，將其它智能體視為環(huán)境的一部分，形成一個動態(tài)的廣義環(huán)境。利用強化學習的最優(yōu)策略學習能力和狀態(tài)預測機制對降維學習過程中環(huán)境信息缺失