逆向增強學(xué)習(xí)和示教學(xué)習(xí)算法研究及其在智能機器人中的應(yīng)用.pdf

1、近幾十年來，示教學(xué)習(xí)一直是機器人研究領(lǐng)域中極富挑戰(zhàn)性的研究課題之一。在示教學(xué)習(xí)中，直接估計狀態(tài)-動作映射往往無法考慮長期性影響。因此，研究者傾向于將示教學(xué)習(xí)過程分為估計環(huán)境參數(shù)和求解最優(yōu)控制器兩個步驟，間接地逼近示教策略。在若干環(huán)境參數(shù)表達方法中，回報函數(shù)具有泛化能力強、遷移性好和所需調(diào)節(jié)參數(shù)少等優(yōu)點。目前，基于回報函數(shù)估計的示教學(xué)習(xí)正成為示教學(xué)習(xí)中應(yīng)用最廣泛的方法之一。回報函數(shù)的估計，又稱為逆向增強學(xué)習(xí)，是指給定智能體行為、狀態(tài)和環(huán)境

2、動態(tài)模型，在馬爾可夫決策過程模型中求解回報函數(shù)的問題。但是，基于回報函數(shù)估計的示教學(xué)習(xí)當(dāng)前還存在幾個需要解決的問題：(1)回報函數(shù)的估計過程無法序貫進行。(2)回報函數(shù)的學(xué)習(xí)結(jié)果只能提供點估計信息。(3)回報函數(shù)估計的性能對示教噪聲敏感。針對上述問題，本文嘗試在序貫估計和貝葉斯框架下對逆向增強學(xué)習(xí)問題進行了理論研究。
　　 首先，本文從最大邊際原則和約束一致性原則兩個方面研究了序貫化逆向增強學(xué)習(xí)算法，從而為逆向增強學(xué)習(xí)的序貫算法

3、研究提供了理論支持。基于最大邊際原則，本文提出了增量式逆向增強學(xué)習(xí)方法。該方法將學(xué)習(xí)建模為二項分類問題，然后通過擬可加序貫學(xué)習(xí)框架的思想進行回報函數(shù)的序貫重估計。算法以序列化的方式處理依次到來的觀察數(shù)據(jù)?；诩s束一致性原則，本文提出了松弛投影逆向增強學(xué)習(xí)方法。本方法將回報函數(shù)的學(xué)習(xí)問題建模為具有非線性約束的可行區(qū)域問題。其主要思想是通過松弛投影算法序列化地將回報函數(shù)估計值對特定約束平面進行松弛投影。本方法避免了在回報函數(shù)估計過程中調(diào)用耗

4、時的增強學(xué)習(xí)子過程。為了減少計算量，本文還討論了約束約減方法。另外本文分別對上述兩種方法進行了收斂性質(zhì)的分析。
　　 其次，為了解決當(dāng)前算法中對回報函數(shù)僅進行點估計的局限性，本文在貝葉斯框架下將回報函數(shù)擴展到連續(xù)空間的分布形式并對回報函數(shù)進行分布估計。首先，本文基于貝葉斯框架引入了核方法，提出了基于高斯過程的回報函數(shù)建模方法。通過回報函數(shù)的高斯過程建模，本文將已有的逆向增強學(xué)習(xí)方法進行了擴展，提出了基于高斯過程的逆向增強學(xué)習(xí)算法

5、。該算法不僅給出了回報函數(shù)估計值的置信度信息，還通過核方法定義了學(xué)習(xí)特征。這些性質(zhì)提高了基于逆向增強學(xué)習(xí)的示教學(xué)習(xí)在應(yīng)用中的實用性。
　　 然后，針對基于逆向增強學(xué)習(xí)的示教學(xué)習(xí)中示教策略存在噪聲的問題，本文提出了基于貝葉斯logistic回歸和變分近似方法的逆向增強學(xué)習(xí)算法。其主要思想是通過示教軌跡構(gòu)造示教樣本集將逆向增強學(xué)習(xí)的分類問題建模為貝葉斯logistic回歸問題。變分貝葉斯方法被用來對后驗分布進行近似求解。貝葉斯log

6、istic回歸方法對數(shù)據(jù)的抗噪特點為本算法帶來了良好的對示教數(shù)據(jù)的魯棒性。
　　 最后，本文討論了逆向增強學(xué)習(xí)方法在智能機器人行為樣本評測問題中的應(yīng)用。針對地面自主機器人評測系統(tǒng)中評測標準難以定義的問題，本文提出了一種基于傾向性分析的智能系統(tǒng)評測方法。該方法首先采用了基于主元分析法的特征提取方法對地面自主機器人行為樣本數(shù)據(jù)進行了預(yù)處理，然后利用逆向增強學(xué)習(xí)算法、策略不變條件下的回報函數(shù)變形定理和線性子空間距離定義得到地面自主機器