基于Q學習的欠驅(qū)動雙足機器人行走控制研究.pdf

1、被動動態(tài)步行是雙足步行研究領域的一個重要分支，其目的在于挖掘動態(tài)步行本質(zhì)特征，充分利用自身動力學特性提高能效。由于機器人的結構多樣性，動態(tài)特性具有較大差異，難以選用其他機器人的運動軌跡作為參考步態(tài)。而在機器人與地面的不斷交互中，Q學習可以充分利用雙足機器人自身的動力學特性，在試錯中自主學習行走。本文針對五連桿欠驅(qū)動步行機器人行走控制，提出了基于神經(jīng)網(wǎng)絡的Q學習方法進行研究，實現(xiàn)了穩(wěn)定連續(xù)的動態(tài)步行。本文完成的主要工作如下:
　　

2、 1.采用了平面五連桿四驅(qū)動模型，并在已有的柔性驅(qū)動方式的基礎上，為機器人選擇了柔性驅(qū)動器。
　　 2.提出了一種基于RBF神經(jīng)網(wǎng)絡的Q學習控制方法。利用RBF網(wǎng)絡的泛化能力，代替了離散的Q值表，實現(xiàn)了機器人連續(xù)狀態(tài)到離散的Q值表的映射關系，解決空間信度問題;將資格跡思想融入到RBF神經(jīng)網(wǎng)絡中，解決Q學習時間信度分配問題;借鑒了等效倒立擺模型降低神經(jīng)網(wǎng)絡輸入維度;提出了改進的ε貪婪算法來平衡Q學習中“探索”與“利用”的矛盾。仿真

3、得到了穩(wěn)定自然的周期動態(tài)步態(tài)，驗證了基于RBF神經(jīng)網(wǎng)絡的Q學習算法的有效性。
　　 3.為了解決Q學習“無監(jiān)督”、狀態(tài)-動作空間大帶來的學習速度慢的難題，本文采用了基于歷史經(jīng)驗回放技術加速Q(mào)學習。仿真表明基于歷史經(jīng)驗回放技術能提高Q學習效率。
　　 4.設計了ADAMS仿真平臺。為得到更為實際的仿真效果，建立了ADAMS上的虛擬樣機。在此基礎上建立了ADAMS與MATLAB的聯(lián)合仿真平臺。仿真實驗表明仿真平臺能簡化繁瑣的