基于試錯學(xué)習(xí)的強(qiáng)化學(xué)習(xí)算法的研究.pdf

1、從行為心理學(xué)發(fā)展而來，介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的強(qiáng)化學(xué)習(xí)算法，目前是機(jī)器學(xué)習(xí)研究領(lǐng)域的熱點(diǎn)，越來越受到關(guān)注?，F(xiàn)有的強(qiáng)化學(xué)習(xí)算法如Sarsa學(xué)習(xí)算法、Q學(xué)習(xí)算法等需要大量的存儲空間來存儲已有的知識，在大規(guī)?；蜻B續(xù)狀態(tài)空間問題上，可能會引發(fā)“維數(shù)災(zāi)難”;而基于非線性值函數(shù)逼近的的時間差分學(xué)習(xí)TD(λ)算法，易陷入局部極值，并且算法是發(fā)散的。考慮到智能計算算法的全局尋優(yōu)能力、自適應(yīng)性等特點(diǎn)，本文分別使用遺傳算法和免疫耐受機(jī)制對強(qiáng)化學(xué)習(xí)算法進(jìn)行

2、優(yōu)化。
　　結(jié)合遺傳算法的全局搜索能力，本文提出了一種基于遺傳算法的強(qiáng)化學(xué)習(xí)算法，將強(qiáng)化學(xué)習(xí)算法中的權(quán)值整體看成是種群中的個體，仿生物“自然選擇”機(jī)理，對種群進(jìn)行擇優(yōu)迭代，執(zhí)行選擇、交叉、變異等操作。其中，選擇操作是通過輪盤賭方法，采用精英保留策略，對種群中的個體以一定的概率隨機(jī)性進(jìn)行較優(yōu)迭代;交叉是按照單點(diǎn)交叉，對隨機(jī)交叉點(diǎn)的兩個個體進(jìn)行兩兩交互;變異是對個體的隨機(jī)基因位進(jìn)行高斯變異。同時，在理論上進(jìn)行了算法分析，在仿真實(shí)驗上對

3、新舊算法進(jìn)行了對比，均表明新算法具有更好的性能。
　　為了記憶對環(huán)境的學(xué)習(xí)，從而在遇到相似環(huán)境時加快學(xué)習(xí)速度，本文接著提出了一種基于免疫耐受機(jī)制的強(qiáng)化學(xué)習(xí)算法。該算法以TD（λ）為前提，在免疫耐受機(jī)制的基礎(chǔ)上，對權(quán)值進(jìn)行耐受調(diào)整。在學(xué)習(xí)中，用權(quán)值控制基于函數(shù)逼近的狀態(tài)值;當(dāng)誤差大于一定閾值時，使用免疫耐受對權(quán)值進(jìn)行優(yōu)化，否則直接根據(jù)系統(tǒng)狀態(tài)選擇最優(yōu)策略。經(jīng)過性能分析和仿真實(shí)驗，結(jié)果表明新算法能以更小的誤差、更快地進(jìn)行全局搜索，并且