強(qiáng)化學(xué)習(xí)維數(shù)災(zāi)問(wèn)題解決方法研究.pdf

1、本文針對(duì)強(qiáng)化學(xué)習(xí)任務(wù)中存在的一個(gè)普遍且重要的問(wèn)題“維數(shù)災(zāi)”困難，即狀態(tài)空間的大小隨著特征數(shù)量的增加而發(fā)生指數(shù)級(jí)的增長(zhǎng)，提出兩種方法從不同的角度來(lái)解決“維數(shù)災(zāi)”困難和優(yōu)化強(qiáng)化學(xué)習(xí)方法。同時(shí)，在所提理論的基礎(chǔ)上，以Eclipse為開(kāi)發(fā)平臺(tái)，在SWT的基礎(chǔ)上，開(kāi)發(fā)了俄羅斯方塊游戲，將其作為算法的實(shí)驗(yàn)平臺(tái)，從而對(duì)相應(yīng)的方法進(jìn)行實(shí)驗(yàn)效果的驗(yàn)證。同時(shí)又將強(qiáng)化學(xué)習(xí)理論應(yīng)用到Ad Hoc網(wǎng)絡(luò)路由選擇算法中，集中解決了路由效率、能源開(kāi)銷、安全性等相關(guān)問(wèn)題

2、。 本文的主要研究成果概括為以下四個(gè)方面： (1)分析研究了強(qiáng)化學(xué)習(xí)中的“維數(shù)災(zāi)”問(wèn)題，并在此基礎(chǔ)上提出了一種大規(guī)模離散空間中的高斯強(qiáng)化學(xué)習(xí)方法。實(shí)驗(yàn)結(jié)果表明，結(jié)合了高斯過(guò)程的強(qiáng)化學(xué)習(xí)方法在各方面性能，如收斂速度以及最終實(shí)驗(yàn)效果等都有所提高。 (2)針對(duì)強(qiáng)化學(xué)習(xí)的“維數(shù)災(zāi)”問(wèn)題和算法收斂速度過(guò)慢的困難，提出了一種基于動(dòng)作分值的分層強(qiáng)化學(xué)習(xí)獎(jiǎng)賞優(yōu)化方法。使用了動(dòng)作分值和分層思想的強(qiáng)化學(xué)習(xí)方法可以達(dá)到優(yōu)化獎(jiǎng)賞函數(shù)和加

3、快收斂速度的效果。實(shí)驗(yàn)結(jié)果表明，使用了該方法的強(qiáng)化學(xué)習(xí)算法能顯著提高算法的收斂速度和實(shí)驗(yàn)效果。 (3)以俄羅斯方塊游戲?yàn)閷?shí)驗(yàn)平臺(tái)，將上述方法應(yīng)用于其中，分析各個(gè)算法的優(yōu)劣和各類參數(shù)的性能比較，并提出可以進(jìn)一步改進(jìn)的實(shí)驗(yàn)效果的若干思想。 (4)以Ad Hoc網(wǎng)絡(luò)為應(yīng)用平臺(tái)，將相關(guān)的強(qiáng)化學(xué)習(xí)方法應(yīng)用于Ad Hoc網(wǎng)絡(luò)路由選擇過(guò)程中，從綜合的角度來(lái)解決Ad Hoc網(wǎng)絡(luò)中存在的路由效率、能源開(kāi)銷、安全性、自適應(yīng)性等路由選擇問(wèn)題。