基于強(qiáng)化學(xué)習(xí)的自主式移動機(jī)器人導(dǎo)航控制.pdf

1、自主式移動機(jī)器人可以工作在復(fù)雜非結(jié)構(gòu)化環(huán)境中，無需人工干預(yù)，對環(huán)境無特定要求，具有高度自規(guī)劃和自適應(yīng)能力，這是一種有目的地自主式移動和完成任務(wù)的智能系統(tǒng)。其中，導(dǎo)航技術(shù)是移動機(jī)器人實(shí)現(xiàn)智能化的關(guān)鍵技術(shù)之一。在未知環(huán)境中，移動機(jī)器人需要擁有快速的學(xué)習(xí)能力，以提高對環(huán)境的適應(yīng)能力，解決在自身不完備知識情況下的復(fù)雜問題。強(qiáng)化學(xué)習(xí)具有通過自我學(xué)習(xí)來逐漸獲取智能行為的特征，在自主式移動機(jī)器人導(dǎo)航應(yīng)用中受到廣泛關(guān)注。
　　強(qiáng)化學(xué)習(xí)模擬動物學(xué)習(xí)

2、的過程，通過不斷試錯尋求從狀態(tài)到動作相適應(yīng)的映射關(guān)系，最終獲得最優(yōu)化的動作狀態(tài)策略集。針對學(xué)習(xí)過程中傳統(tǒng)算法存在收斂慢，非即時報酬的估計存在時間約束，占用較多內(nèi)存資源和計算時間的問題，本文通過對傳統(tǒng)強(qiáng)化學(xué)習(xí)理論的研究，結(jié)合了相對值迭代理論和最優(yōu)化理論，通過合理變形，提出了一種相對值迭代強(qiáng)化學(xué)習(xí)(RVI-RL)算法，這是基于離散馬爾科夫決策過程(MDP)環(huán)境下的無需估計平均報酬的強(qiáng)化學(xué)習(xí)算法。
　　RVI-RL算法是一種無模型算法，

3、免除了對整個任務(wù)平均報酬的估計，也免除了因不斷修正平均報酬估計所帶來的偏差。本論文的實(shí)驗環(huán)境為經(jīng)典的出租車問題，初始化為柵格型地圖，相對于出租車為未知或動態(tài)環(huán)境，出租車自主行駛過程中，通過試錯技術(shù)來獲取環(huán)境狀態(tài)信息，最終尋求狀態(tài)與動作的最佳映射。
　　實(shí)驗表明，在單自主移動機(jī)器人導(dǎo)航過程中，RVI-RL算法比Q學(xué)習(xí)算法和R學(xué)習(xí)算法更快更穩(wěn)地收斂于最優(yōu)策略集；在多自主移動機(jī)器人導(dǎo)航環(huán)境中，新算法表現(xiàn)出誘發(fā)兩個機(jī)器人協(xié)作規(guī)劃行為的特征