基于強化學習的異構多智能體區(qū)域覆蓋算法研究.pdf

1、面向地-空多智能體系統(tǒng)的區(qū)域覆蓋問題，建立了基于分布式部分可觀測馬爾可夫決策模型(DEC-POMDPs)描述觀測異構、驅動模式異構的多智能體系統(tǒng)，通過強化學習算法解決多智能體系統(tǒng)的路徑規(guī)劃及避障問題，主要包括以下幾個方面的研究內(nèi)容:
　　首先介紹了由馬爾可夫決策模型(MDP)向DEC-POMDPs模型的演變過程。由于智能體模型觀測的局部特性和不確定性，各智能體獲得的觀測不再具備馬爾可夫性，導致DEC-POMDPs模型求解最優(yōu)結果時

2、策略空間維度爆炸——即NEXP完全問題。
　　其次，針對單智能體搭建了基于POMDP模型的區(qū)域覆蓋仿真場景，利用QMDP算法和Q-learning算法求解行動策略。通過調整模型參數(shù)，分析了觀測不確定性和觀測精度對POMDP強化學習收斂效果的影響。
　　再次，實現(xiàn)了基于DEC-POMDPs模型的多智能體在線規(guī)劃算法，并搭建了多個多智能體仿真場景，驗證算法的有效性。考慮到通訊動作的低耗時和高時效性，根據(jù)通訊動作判斷智能體是否獲得

3、聯(lián)合觀測，設計一種包含多個強化學習模塊的異構多智能體強化學習決策框架，在不影響分布式強化學習收斂速度的前提下，有效降低了通訊頻率，提高了多智能體系統(tǒng)在隱性馬爾科夫決策過程中的狀態(tài)辨識度和決策效率。
　　為了方便理論驗證和理論分析，開發(fā)了基于MATLAB軟件的多智能體強化學習工具箱，搭建了完善的強化學習仿真運算框架，實現(xiàn)了智能體運動學模型、地圖環(huán)境仿真、強化學習算法等模塊，設計實現(xiàn)了持久層模塊，借助數(shù)據(jù)庫技術改善了MATLAB軟件處