多智能體系統(tǒng)中的Q學(xué)習(xí)算法研究.pdf

1、隨著人工智能技術(shù)和計(jì)算機(jī)科學(xué)的發(fā)展與進(jìn)步，分布式人工智能等技術(shù)應(yīng)運(yùn)而生，并在過去的20多年中獲得快速發(fā)展。多智能體系統(tǒng)（MAS）是分布式人工智能的一個(gè)重要分支。MAS技術(shù)主要研究一組自治的智能體在分布式開放的動態(tài)環(huán)境下，通過交互、合作、競爭、協(xié)商等智能行為完成復(fù)雜的控制或任務(wù)求解。強(qiáng)化學(xué)習(xí)是解決智能體系統(tǒng)尋優(yōu)問題的有效工具。強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)算法是現(xiàn)在研究的最多也是應(yīng)用最廣泛的學(xué)習(xí)算法。
　　本文對多智能體系統(tǒng)中的Q學(xué)習(xí)算法的學(xué)習(xí)

2、效率、狀態(tài)空間的復(fù)雜度以及對復(fù)雜環(huán)境的適應(yīng)能力進(jìn)行了研究，提出了一些改進(jìn)的方法并以人工智能中經(jīng)典的圍捕問題作為仿真環(huán)境，具體的研究工作如下：
　　首先，針對Q學(xué)習(xí)算法中存在重復(fù)學(xué)習(xí)且學(xué)習(xí)效率不高的現(xiàn)象，本文提出了在過程中共享經(jīng)驗(yàn)的學(xué)習(xí)算法。Q學(xué)習(xí)是一種無監(jiān)督的在線學(xué)習(xí)，對環(huán)境的先驗(yàn)知識不作要求。也正因如此智能體需要花一定的學(xué)習(xí)時(shí)間來了解這些先驗(yàn)知識。多智能體Q學(xué)習(xí)的一個(gè)特點(diǎn)是學(xué)習(xí)過程中的一切都是聯(lián)合的，包括：聯(lián)合動作、聯(lián)合狀態(tài)和聯(lián)

3、合獎懲。這些都會增加學(xué)習(xí)時(shí)的搜索量和計(jì)算量，并且增加狀態(tài)空間的維數(shù)。針對這些問題本文提出了在過程中共享經(jīng)驗(yàn)的Q學(xué)習(xí)算法。在該算法中智能體不再是基于聯(lián)合動作、聯(lián)合狀態(tài)和聯(lián)合獎懲，而是單獨(dú)學(xué)習(xí)，階段性地分享經(jīng)驗(yàn)。該算法模擬人類的團(tuán)隊(duì)學(xué)習(xí)方法，既有共同的目標(biāo)，又有自己要完成的任務(wù)，定時(shí)地互相分享經(jīng)驗(yàn)。從仿真實(shí)驗(yàn)中可以看到較好的學(xué)習(xí)效果，學(xué)習(xí)效率明顯優(yōu)于標(biāo)準(zhǔn)Q學(xué)習(xí)算法。
　　其次，針對復(fù)雜的學(xué)習(xí)環(huán)境本文提出了多獎懲標(biāo)準(zhǔn)的學(xué)習(xí)方法?，F(xiàn)實(shí)應(yīng)用