專家知識(shí)輔助的強(qiáng)化學(xué)習(xí)研究及其在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用.pdf

1、隨著科技不斷發(fā)展進(jìn)步，無(wú)人機(jī)的應(yīng)用范圍逐漸擴(kuò)大，這無(wú)形中對(duì)其智能化提出了更高的要求。未來(lái)的無(wú)人機(jī)應(yīng)該通過(guò)與環(huán)境交互自主完成障礙躲避、路徑規(guī)劃等常規(guī)任務(wù)，而不是僅僅依賴于手動(dòng)編寫(xiě)的程序。強(qiáng)化學(xué)習(xí)算法是實(shí)現(xiàn)自主化的一條可行技術(shù)路線，并已被用于游戲及其它一些人工較難掌控任務(wù)的學(xué)習(xí)中，然而，其在訓(xùn)練時(shí)較大的在線運(yùn)算壓力及較長(zhǎng)的交互過(guò)程阻礙了它更為廣泛的應(yīng)用，特別是在無(wú)人機(jī)領(lǐng)域。
　　針對(duì)此種情形，本文以強(qiáng)化學(xué)習(xí)算法及其在無(wú)人機(jī)路徑規(guī)劃中的

2、應(yīng)用為主要研究?jī)?nèi)容，嘗試在強(qiáng)化學(xué)習(xí)開(kāi)始前賦予智能體特定的專家知識(shí)來(lái)提高學(xué)習(xí)算法的實(shí)用性。研究主要從以下兩方面展開(kāi):一是結(jié)合專家對(duì)任務(wù)的了解，通過(guò)引入批量遞歸最小二乘或構(gòu)造特殊基函數(shù)來(lái)降低對(duì)稱任務(wù)中學(xué)習(xí)的運(yùn)算復(fù)雜度;二是從遷移的角度出發(fā)，重點(diǎn)研究在新任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用源任務(wù)示教軌跡所含專家知識(shí)的方法，并進(jìn)一步探索了示教知識(shí)遷移輔助的強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用。
　　本文的主要研究工作和貢獻(xiàn)歸納如下:
　　1、系統(tǒng)綜述了強(qiáng)

3、化學(xué)習(xí)算法及其應(yīng)用現(xiàn)狀，著重介紹了引入專家知識(shí)以彌補(bǔ)其白板學(xué)習(xí)盲目性的研究，特別是與遷移算法相結(jié)合的部分;總結(jié)了遷移在強(qiáng)化學(xué)習(xí)中應(yīng)用的難點(diǎn)，并提出從簡(jiǎn)單源任務(wù)的示教軌跡中挖掘并遷移知識(shí)到新任務(wù)中加速?gòu)?qiáng)化學(xué)習(xí)的框架。
　　2、針對(duì)在Actor-Critic結(jié)構(gòu)強(qiáng)化學(xué)習(xí)算法中智能體用最小二乘法估計(jì)自然梯度的運(yùn)算量是估計(jì)普通梯度數(shù)倍的問(wèn)題，本文提出利用批量遞歸的思想來(lái)有效降低智能體在線運(yùn)算壓力。強(qiáng)化學(xué)習(xí)過(guò)程中，智能體可以在交互數(shù)據(jù)達(dá)到專

4、家設(shè)定的數(shù)量之后再用遞歸最小二乘法估計(jì)自然梯度，從而明顯減少了梯度估計(jì)次數(shù);與此同時(shí)，由于每次梯度估計(jì)更為準(zhǔn)確，智能體可以適當(dāng)增大策略參數(shù)更新步長(zhǎng)以保證算法收斂速度不受明顯影響。總之，批量遞歸使得智能體能夠在可接受的在線運(yùn)算壓力下靈活處理交互數(shù)據(jù)。
　　3、針對(duì)狀態(tài)動(dòng)作空間存在對(duì)稱性的任務(wù)，本文提出一種能夠近似對(duì)稱狀態(tài)值函數(shù)及策略的特殊基函數(shù)。專家在構(gòu)造基函數(shù)時(shí)，同時(shí)考慮中心點(diǎn)及其對(duì)稱位置信息從而使基函數(shù)的值在對(duì)稱位置自然相等，進(jìn)

5、而使得狀態(tài)值函數(shù)在對(duì)稱狀態(tài)也相等。然而，由于特殊基函數(shù)數(shù)量與常規(guī)基函數(shù)相比較少，強(qiáng)化學(xué)習(xí)速度明顯加快且運(yùn)算壓力顯著降低。
　　4、由于源任務(wù)示教軌跡數(shù)量有限且單個(gè)軌跡所含數(shù)據(jù)較多，用機(jī)器學(xué)習(xí)分類較難，本文提出結(jié)合動(dòng)態(tài)運(yùn)動(dòng)基元與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的方法。算法首先將示教軌跡視作獨(dú)立的多維時(shí)間序列并用不同動(dòng)態(tài)運(yùn)動(dòng)基元的參數(shù)依次作為各個(gè)維度的表征;之后，用改造的卷積神經(jīng)網(wǎng)絡(luò)發(fā)掘基元參數(shù)序列的結(jié)構(gòu)變化信息進(jìn)行分類;最后，綜合各維度分類情況

6、以確定軌跡類別。
　　5、針對(duì)專家較易示教簡(jiǎn)單任務(wù)而強(qiáng)化學(xué)習(xí)適于解決較難問(wèn)題的情況，本文提出多種在較難任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用與之相關(guān)源任務(wù)示教軌跡所含專家知識(shí)的方法。本文嘗試從多個(gè)角度挖掘示教軌跡所含專家知識(shí)，并經(jīng)由智能體空間或任務(wù)間關(guān)系映射遷移到新任務(wù)中，通過(guò)引導(dǎo)學(xué)習(xí)的探索過(guò)程、鼓勵(lì)訪問(wèn)某些狀態(tài)或直接作為選擇動(dòng)作的初始策略等方式加快新任務(wù)的學(xué)習(xí)速度。
　　6、為在無(wú)人機(jī)路徑規(guī)劃中應(yīng)用強(qiáng)化學(xué)習(xí)，本文提出用重構(gòu)的示教軌跡來(lái)引導(dǎo)智能