基于強化學(xué)習(xí)的足球機器人決策系統(tǒng)設(shè)計.pdf

1、足球機器人是當(dāng)前機器人研究中的一個熱點，涉及機器人學(xué)、人工智能、智能控制、計算機視覺等多個領(lǐng)域。決策系統(tǒng)作為整個足球機器人系統(tǒng)的核心，決定了機器人間的協(xié)調(diào)協(xié)作，是機器人的“大腦”。因此，決策系統(tǒng)的研究在多機器人、多智能體領(lǐng)域具有十分重要的意義。 本論文以足球機器人Mirosot 5v5仿真比賽為研究對象，針對傳統(tǒng)的決策模型很難滿足足球機器人系統(tǒng)在反應(yīng)性、適應(yīng)性、智能性和學(xué)習(xí)能力等方面的要求，提出一種基于改進 Q 學(xué)習(xí)的足球機器人

2、兩層協(xié)作模型。該模型把整個決策系統(tǒng)分為上下兩層：協(xié)調(diào)層和運動控制層。 上層協(xié)調(diào)層針對普通 Q 學(xué)習(xí)在環(huán)境狀態(tài)復(fù)雜的情況下收斂速度較慢的缺點，通過分析足球機器人比賽的特性，采用模糊聚類的方法把數(shù)量眾多的系統(tǒng)狀態(tài)轉(zhuǎn)化為為數(shù)不多的模糊狀態(tài)，從而大大減少了O學(xué)習(xí)的狀態(tài)空間，提高了算法的收斂速度；同時，針對普通Q學(xué)習(xí)算法易收斂到局部最優(yōu)，本文通過分析 Q 學(xué)習(xí)算法中三個關(guān)鍵參數(shù)(學(xué)習(xí)率α、折扣因子γ和溫度值T)的作用，提出一種自適應(yīng)Q學(xué)習(xí)

3、算法，動態(tài)地調(diào)整這三個參數(shù)，從而實現(xiàn)系統(tǒng)全局最優(yōu)動作。 下層運動控制層，取代傳統(tǒng)的機器人作為上層意圖的簡單執(zhí)行方法，將下層機器人的控制設(shè)計成為一個智能體，主要設(shè)計了三個角色的智能體：防守隊員、進攻隊員和助攻隊員，從而減輕協(xié)調(diào)層的決策任務(wù)，提高了系統(tǒng)的實時反應(yīng)性。 本文采用C++編程語言在Windows下編寫動態(tài)鏈接庫(DLL)程序來實現(xiàn)整個決策子系統(tǒng)的設(shè)計。通過在MiroSot足球機器人仿真平臺上進行仿真比賽，驗證了所設(shè)