基于增強學習的靈巧手控制算法及其應用.pdf

1、靈巧手操作是極具挑戰(zhàn)的機器人控制任務之一，并且至今仍存在大量問題尚未解決。本文針對機器人靈巧手操作中抓取任務，以實際 Baxter機器人為平臺，實現(xiàn)了一套完整的抓取控制系統(tǒng)，能夠高效、自適應的控制機械臂到達指定目標位置和跟隨指定關節(jié)位置軌跡兩個目標，并進行實驗驗證。本文主要的工作有如下幾個方面。
　　針對抓取場景下目標跟蹤問題，完成引入結構化約束的跟蹤算法設計。跟蹤算法作為控制系統(tǒng)在運行時的輔助模塊，為控制系統(tǒng)提供的目標定位以及目

2、標形態(tài)信息。改進后視覺跟蹤算法，提升了機器人操作場景中，快速移動、光照變化、形變等問題的跟蹤效果。算法結合TLD算法框架，利用提出的交叉骨架模型和軟分割模型，開拓被跟蹤目標的結構信息和外貌信息。跟蹤算法測試于權威數(shù)據(jù)視覺跟蹤數(shù)據(jù)庫，對比近年優(yōu)秀的跟蹤器，并獲得了不錯的成績。
　　針對直接訓練神經(jīng)網(wǎng)絡策略樣本需求量大的問題，利用構建局部控制器結合監(jiān)督學習技術訓練神經(jīng)網(wǎng)絡策略。本文將操作任務劃分為數(shù)個簡單狀態(tài)，在簡單狀態(tài)下，利用基于模

3、型的傳統(tǒng)控制算法或高效的增強學習算法，完成局部控制器的訓練。在得到能夠在各自獨立的簡單狀態(tài)下完成任務的局部控制器后，利用成熟的監(jiān)督學習技術，將多個局部控制器整合訓練為一個全局策略。全局策略保證機器人能夠以統(tǒng)一的控制器完成整個操作任務，而非機器人在每個狀態(tài)下使用不同的控制器完成任務。
　　本文第三個重要工作就是以實際 Baxter機器人為平臺，實現(xiàn)實際的抓取控制系統(tǒng)?？刂扑惴ǖ姆抡鎸崿F(xiàn)往往較為容易，而從仿真到現(xiàn)實世界則存在一條巨大的

4、鴻溝。因為在仿真環(huán)境中，可以忽略現(xiàn)實世界中各種干擾因素，例如數(shù)據(jù)采集時的測量誤差、系統(tǒng)誤差、執(zhí)行器執(zhí)行精度、控制系統(tǒng)的模型差異、采樣的成本等。此外，真實系統(tǒng)上需要一套完整的系統(tǒng)提供算法運行的基礎。上述任一問題未能處理得當，都足以使得整個算法在實際系統(tǒng)中失敗。
　　本文最后，在實際抓取控制系統(tǒng)中完成兩組控制任務實驗驗證。分別對局部控制器和全局策略進行測試，不同次數(shù)迭代的執(zhí)行誤差，以實驗結果來證實整個系統(tǒng)的可用性。實驗數(shù)據(jù)也充分展示了