強(qiáng)化學(xué)習(xí)方法及其應(yīng)用研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種重要的機(jī)器學(xué)習(xí)方法。強(qiáng)化學(xué)習(xí)通過感知環(huán)境狀態(tài)信息來學(xué)習(xí)動(dòng)態(tài)系統(tǒng)的最優(yōu)策略，通過試錯(cuò)法不斷與環(huán)境交互來改善自己的行為，并具有對(duì)環(huán)境的先驗(yàn)知識(shí)要求低的優(yōu)點(diǎn)，是一種可以應(yīng)用到實(shí)時(shí)環(huán)境中的在線學(xué)習(xí)方式，因此在智能控制，機(jī)器學(xué)習(xí)等領(lǐng)域得到了廣泛研究。 強(qiáng)化學(xué)習(xí)的任務(wù)就是學(xué)習(xí)從狀態(tài)空間到動(dòng)作空間的映射，其本質(zhì)就是用參數(shù)化的函數(shù)來逼近“狀態(tài)-動(dòng)作”的映射關(guān)系。強(qiáng)化學(xué)習(xí)中常用算法如Q-學(xué)習(xí)、TD學(xué)習(xí)、Sarsa學(xué)習(xí)的一個(gè)共同特點(diǎn)是

2、僅對(duì)值函數(shù)進(jìn)行估計(jì)，動(dòng)作選擇策略則由值函數(shù)的估計(jì)完全確定。同時(shí)進(jìn)行值函數(shù)和策略空間逼近的泛化方法基本上都是采用Barto提出的自適應(yīng)啟發(fā)評(píng)價(jià)方法(AHC)。該方法在處理具有連續(xù)狀態(tài)空間的問題時(shí)，將連續(xù)狀態(tài)空間劃分為確定數(shù)量的子空間，子空間之間不進(jìn)行泛化，因而會(huì)產(chǎn)生狀態(tài)組合爆炸，即“維數(shù)災(zāi)難”問題。因此需要采取量化的方法，將連續(xù)輸入空間變?yōu)殡x散輸入空間，以降低輸入空間的復(fù)雜度。本文采用歸一化徑向基函數(shù)(NRBF)作為局部函數(shù)逼近器用來表示

3、連續(xù)輸入狀態(tài)空間并提出了一種基于NRBF的自適應(yīng)狀態(tài)空間構(gòu)建策略。 模糊控制系統(tǒng)具有可讀性強(qiáng)和簡(jiǎn)單易行的優(yōu)點(diǎn)，近年來在各個(gè)領(lǐng)域獲得了廣泛的應(yīng)用。在模糊控制器的設(shè)計(jì)過程中，如何獲得好的模糊規(guī)則和隸屬度函數(shù)一直是個(gè)瓶頸問題。模糊規(guī)則和隸屬度函數(shù)一般根據(jù)經(jīng)驗(yàn)獲得，這使得模糊控制效果往往無法達(dá)到最優(yōu)或次優(yōu)。遺傳算法作為一種全局優(yōu)化算法，在優(yōu)化模糊控制器上已得到許多學(xué)者的關(guān)注，并且在優(yōu)化模糊規(guī)則和隸屬函數(shù)方面取得了成功。本文提出了一種基于

4、遞階遺傳算法的模糊強(qiáng)化學(xué)習(xí)系統(tǒng)，自適應(yīng)的調(diào)整模糊規(guī)則和隸屬度函數(shù)，提高了強(qiáng)化學(xué)習(xí)系統(tǒng)的效率。 Agent是對(duì)人類個(gè)體的仿生，而多Agent系統(tǒng)是對(duì)人類社會(huì)的仿生。由于學(xué)習(xí)、交流和協(xié)作是人類的本質(zhì)特征，所以對(duì)多Agent系統(tǒng)中的分布式強(qiáng)化學(xué)習(xí)問題的研究具有重要意義?，F(xiàn)有的分布式強(qiáng)化學(xué)習(xí)方法還存在著結(jié)構(gòu)信度分配困難、學(xué)習(xí)速度慢等缺陷，這些缺陷大大限制了分布式強(qiáng)化學(xué)習(xí)方法的應(yīng)用范圍。本文也對(duì)分布式強(qiáng)化學(xué)習(xí)理論進(jìn)行了系統(tǒng)地研究，并對(duì)其存

5、在的部分問題提出了初步的解決辦法。 本論文的主要?jiǎng)?chuàng)新點(diǎn)： (1)針對(duì)連續(xù)高維輸入狀態(tài)空間組合爆炸問題，提出一種基于歸一化徑向基函數(shù)(NRBF)的自適應(yīng)狀空間構(gòu)建策略。采用歸一化徑向基函數(shù)(NRBF)作為局部函數(shù)逼近器用來表示狀態(tài)空間，結(jié)合AHC強(qiáng)化學(xué)習(xí)方法，根據(jù)delta規(guī)則自動(dòng)的調(diào)整徑向基函數(shù)的大小和數(shù)目，直到可以滿足任務(wù)的要求。與傳統(tǒng)的狀態(tài)空間構(gòu)建策略相比，采用較少的基函數(shù)可以達(dá)到很高的性能，該方法具有速度快，穩(wěn)定性

6、高，魯棒性強(qiáng)等優(yōu)點(diǎn)。 (2)提出了一種基于遞階遺傳算法的模糊強(qiáng)化學(xué)習(xí)系統(tǒng)(HGAFRL)，它是一個(gè)基于評(píng)價(jià)預(yù)測(cè)的強(qiáng)化學(xué)習(xí)系統(tǒng)。該強(qiáng)化學(xué)習(xí)系統(tǒng)由自適應(yīng)評(píng)價(jià)網(wǎng)絡(luò)AEN，動(dòng)作選擇網(wǎng)絡(luò)ASN和隨機(jī)動(dòng)作修改器(SAM)組成，動(dòng)作選擇網(wǎng)絡(luò)ASN采用基于遞階遺傳算法(HGA)的模糊自適應(yīng)控制器，它可以利用控制基因刪除多余的模糊集合和控制規(guī)則，并可以增加隸屬函數(shù)的彈性，優(yōu)化了模糊自適應(yīng)控制網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。 (3)提出了一種應(yīng)用于多Ag

7、ent系統(tǒng)的改進(jìn)的分布式Q-學(xué)習(xí)算法。Agent在學(xué)習(xí)過程中對(duì)其它Agent的行為進(jìn)行觀察與統(tǒng)計(jì)，可學(xué)習(xí)其它Agent的策略并獲知該策略對(duì)環(huán)境的影響，確定其報(bào)酬函數(shù)和狀態(tài)后繼函數(shù)。改進(jìn)后的分布式Q-學(xué)習(xí)算法通過對(duì)聯(lián)合動(dòng)作的統(tǒng)計(jì)來學(xué)習(xí)其它Agent的策略，并利用對(duì)其它Agent行動(dòng)概率估計(jì)的方法保證了對(duì)聯(lián)合最優(yōu)動(dòng)作的選擇，在理論上保證了算法的收斂性。 (4)提出了一種多Agent環(huán)境下，通過共享經(jīng)驗(yàn)策略構(gòu)建環(huán)境模型(狀態(tài)轉(zhuǎn)移函數(shù)和