基于強化學習的牽引車路徑規(guī)劃研究.pdf

1、牽引車作為一種常用的牽引運輸設(shè)備，在各行各業(yè)中得到了廣泛應(yīng)用。當牽引車在碼頭、倉庫、軍用艦艇等處工作時，工作環(huán)境復雜擁擠，不確定因素較多，牽引車的行駛?cè)菀滓l(fā)安全事故。在航母甲板上需要進行飛機的牽引、起飛和降落以及彈藥的保障等一系列作業(yè)任務(wù)，使牽引車的行駛安全、工作效率以及操作難度成為難題。因而將無人駕駛技術(shù)應(yīng)用于牽引車是未來的發(fā)展趨勢，而路徑規(guī)劃是該技術(shù)的核心。因此，對甲板上牽引車路徑規(guī)劃的研究具有重大意義。
　　本文以航母甲板

2、上的牽引車為研究對象，在分析了牽引車路徑規(guī)劃常用方法的基礎(chǔ)上，選用強化學習中具有較強自學習能力和較高魯棒性的Q學習算法對牽引車進行路徑規(guī)劃研究。針對Q學習算法在牽引車路徑規(guī)劃中存在的三大難題，提出了相應(yīng)的解決方案，使牽引車能夠在未知復雜環(huán)境下快速找到無碰撞的最優(yōu)路徑。對于因Lookup表格存儲Q值函數(shù)所帶來的“維數(shù)災(zāi)難”問題，分別利用BP神經(jīng)網(wǎng)絡(luò)的非線性值函數(shù)逼近方法和模糊推理的較強泛化能力對Q學習算法進行離散化，提出了BP神經(jīng)網(wǎng)絡(luò)和模

3、糊推理與Q學習相結(jié)合的路徑規(guī)劃算法。其中，基于BP-Q學習的路徑規(guī)劃算法可以很好地解決連續(xù)狀態(tài)和動作空間的泛化問題，使動靜態(tài)環(huán)境下的牽引車都能尋找到一條較優(yōu)的路徑。而基于模糊-Q學習的路徑規(guī)劃算法在實現(xiàn)BP-Q學習算法功能的基礎(chǔ)上，還可以解決復雜環(huán)境下的局部極小值問題。此外，模糊推理規(guī)則庫還可以為牽引車提供先驗知識，從而提高學習速度。針對Q學習算法中動作選擇時易產(chǎn)生的探索與利用的平衡問題，采用了Boltzmann分布策略，實現(xiàn)了“前期重