基于Q學習和神經(jīng)網(wǎng)絡的雙足機器人控制.pdf

1、被動動力學理論認為雙足行走是雙足機器人的固有特性，可以充分利用機器人自身的動力學特性提高能效。由于機器人結構的多樣性，行走時的動力學特性存在差異，很難把人類或者其他機器人的軌跡作為參考步態(tài)。而Q學習在不斷試錯中積累經(jīng)驗，使機器人可以充分利用自身的動力學特性，在和環(huán)境的交互中自主學習行走。雙足步行是一個連續(xù)變化的過程(除了碰撞瞬間)，本文針對雙足機器人行走控制進行研究，采用基于神經(jīng)網(wǎng)絡的Q學習控制器，實現(xiàn)連續(xù)狀態(tài)的學習，并開發(fā)動力學仿真平

2、臺和機器人實驗平臺。本文的主要工作如下：
　　 1、在雙足行走過程中機器人的狀態(tài)基本上是連續(xù)變化的(除了碰撞瞬間)。為了實現(xiàn)對連續(xù)狀態(tài)的控制，本文采用一種基于神經(jīng)網(wǎng)絡的Q學習控制方法。該方法以多輸入多輸出BP神經(jīng)網(wǎng)絡取代離散的Q值表，計算連續(xù)狀態(tài)對應的Q值。Q學習利用資格跡來解決時間信度分配問題，將資格跡思想融入梯度下降算法中，實現(xiàn)了連續(xù)狀態(tài)的Q學習控制。為降低神經(jīng)網(wǎng)絡的維數(shù)，本文提出一種倒立擺位姿-動能模型。采用ε衰減貪婪算法

3、來降低Q學習陷入局部最小的概率。仿真得到了穩(wěn)定、自然和周期的動態(tài)步態(tài)，驗證了算法的有效性。
　　 2、為簡化操作，提高研究效率，開發(fā)適合雙足行走研究的仿真平臺。采用ADAMS建立參數(shù)化模型庫，其中包含2連桿、3連桿、4連桿、5連桿和7連桿5種模型。通過自定義菜單和界面可進行模型的加載、初始化、參數(shù)修改和結果顯示等操作。利用ADAMS和MATLAB的接口模塊ADAMS/Controls，實現(xiàn)基于ADAMS和MATLAB的雙足步行聯(lián)

4、合仿真。仿真實驗表明該仿真平臺避開了復雜的建模過程，簡化了繁瑣的操作，明顯地提高了仿真效率。
　　 3、基于被動動力學控制理論，試制8自由度欠驅動2D雙足行走機構。膝關節(jié)是被動關節(jié)，具有鎖緊機構。髖關節(jié)和踝關節(jié)是主動關節(jié)，采用一個直流伺服電機和一個虛擬的柔性執(zhí)行機構驅動。實驗平臺采用典型的集中式控制系統(tǒng)，使用CAN總線實現(xiàn)快速通信。實時控制軟件具有初始化、周期控制、數(shù)據(jù)采集、通訊、數(shù)據(jù)保存、故障處理、結束處理等功能。本文設計的雙