基于分層強(qiáng)化學(xué)習(xí)的RoboCup 3D球隊(duì)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、當(dāng)前，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，計(jì)算機(jī)快速轉(zhuǎn)向開放的、網(wǎng)絡(luò)平臺(tái)的、協(xié)同工作方式?；贏gent理論和技術(shù)尤其是MAS(Multi-Agent Systems)的理論和技術(shù)給我們帶來了設(shè)計(jì)和實(shí)現(xiàn)分布與開放環(huán)境中運(yùn)行的軟件系統(tǒng)一個(gè)全新模式。 機(jī)器人世界杯足球賽(The Robot World Cup，簡稱RoboCup)，是典型的MAS，是MAS標(biāo)準(zhǔn)問題，可以用來評(píng)價(jià)各種不同MAS問題求解的理論、算法和體系結(jié)構(gòu)。 Rob

2、oCup仿真球隊(duì)分為2D和3D。2D仿真的環(huán)境是二維的，且其物理模型不是真實(shí)的，在仿真中容易預(yù)測，另外，其仿真不容易擴(kuò)充，但3D仿真采用三維環(huán)境和真實(shí)的物理模型，使其運(yùn)動(dòng)難以預(yù)測，并且容易配置來進(jìn)行其它仿真，使其研究成果更容易轉(zhuǎn)化到實(shí)際應(yīng)用中，所以，3D的研究成為MAS的研究熱點(diǎn)。要建立一支RoboCup 3D的仿真球隊(duì)，主要有兩方面的工作：確定良好的程序框架及針對(duì)所要解決的問題選擇合適的學(xué)習(xí)算法。本文的主要工作： (1)提出分

3、層學(xué)習(xí)的框架。將系統(tǒng)分為三層：交流層、技術(shù)層和控制層。下層為上層提供服務(wù)，且對(duì)上層透明，因而易于擴(kuò)展，降低了在連續(xù)狀態(tài)和動(dòng)作空間下學(xué)習(xí)的難度。交流層提供與服務(wù)器的信息交流，包括球員從服務(wù)器端接收信息和球員向服務(wù)器發(fā)送動(dòng)作指令；技術(shù)層提供球員的個(gè)人技能和球隊(duì)的合作技能。首先在原始的狀態(tài)空間學(xué)習(xí)球員的基本個(gè)人技術(shù)，然后在已有的個(gè)人技術(shù)上學(xué)習(xí)高級(jí)的個(gè)人技能，如帶球，在已有的個(gè)人技術(shù)基礎(chǔ)上再學(xué)習(xí)團(tuán)隊(duì)的合作技術(shù)，如傳球；控制層提供球員的推理功能，

4、球員先根據(jù)當(dāng)前的策略狀態(tài)從隊(duì)行為集中選擇一些隊(duì)行為，然后將這些隊(duì)行為仿真推進(jìn)幾步，將仿真結(jié)果進(jìn)行評(píng)估，然后根據(jù)評(píng)估結(jié)果再選擇一個(gè)隊(duì)行為，球員根據(jù)隊(duì)行為選擇自己的動(dòng)作，然后將此動(dòng)作送服務(wù)器執(zhí)行。 (2)HEDGER能在RoboCup 3D仿真所提供的連續(xù)的狀態(tài)和動(dòng)作空間進(jìn)行學(xué)習(xí)，但是在3D仿真如此大的狀態(tài)和動(dòng)作空間下進(jìn)行學(xué)習(xí)，其計(jì)算量太大，難以在線實(shí)時(shí)學(xué)習(xí)。因此，我們對(duì)HEDGER學(xué)習(xí)算法進(jìn)行了改進(jìn)，引入脊回歸技術(shù)，通過調(diào)整脊參數(shù)