基于近似動(dòng)態(tài)規(guī)劃的優(yōu)化控制方法及在自主駕駛車輛中的應(yīng)用.pdf

1、近年來(lái)，隨著工程應(yīng)用范圍的擴(kuò)大，近似動(dòng)態(tài)規(guī)劃（Approximate dynamic programming，ADP）方法越來(lái)越多的被用于求解各種復(fù)雜的優(yōu)化決策問(wèn)題。如何提高近似動(dòng)態(tài)規(guī)劃方法的泛化能力和實(shí)時(shí)優(yōu)化能力是本文的基礎(chǔ)理論研究。另一方面，在國(guó)家自然科學(xué)基金重大研究計(jì)劃重點(diǎn)資助項(xiàng)目的支持下，重點(diǎn)研究了自主車在不同道路形狀和車速下基于近似動(dòng)態(tài)規(guī)劃的側(cè)向控制方法。
　　論文的主要工作成果和創(chuàng)新點(diǎn)如下：
　?。?）針對(duì)傳統(tǒng)近

2、似動(dòng)態(tài)規(guī)劃方法存在學(xué)習(xí)效率低、特征選擇困難的問(wèn)題，提出了基于核的近似動(dòng)態(tài)規(guī)劃（Kernel-based ADP，KADP）方法。該方法采用稀疏核方法來(lái)構(gòu)建基函數(shù)，并使用遞推最小二乘時(shí)域差分算法來(lái)進(jìn)行評(píng)價(jià)器的學(xué)習(xí)。理論分析表明由于稀疏核方法具有良好的表示學(xué)習(xí)和泛化能力，新方法中的評(píng)價(jià)器能夠獲得更小的逼近誤差以及更快的收斂速度。對(duì)倒立擺系統(tǒng)的仿真與實(shí)驗(yàn)結(jié)果表明相對(duì)于傳統(tǒng)的近似動(dòng)態(tài)規(guī)劃方法，新方法能夠獲得更優(yōu)的控制性能和約30％的收斂速度提升

3、。
　?。?）提出了基于圖拉普拉斯的近似動(dòng)態(tài)規(guī)劃（Graph Laplacian-based ADP，GL-ADP）方法。該方法將流形學(xué)習(xí)與近似動(dòng)態(tài)規(guī)劃相結(jié)合，利用圖拉普拉斯算子進(jìn)行基函數(shù)的構(gòu)建，并采用遞推最小二乘時(shí)域差分算法訓(xùn)練評(píng)價(jià)器。理論分析表明雖然GL-ADP的計(jì)算復(fù)雜性通常要高于KADP，但是避免了人工經(jīng)驗(yàn)選取核函數(shù)類型與參數(shù)的問(wèn)題。對(duì)連續(xù)攪拌釜式反應(yīng)器和板球系統(tǒng)的仿真結(jié)果表明新方法能夠獲得優(yōu)于傳統(tǒng)近似動(dòng)態(tài)規(guī)劃方法的控制性

4、能；此外相比于KADP方法，雖然計(jì)算代價(jià)有所提高，但是收斂速度和控制性能分別提升了約18%和2%。
　?。?）提出了針對(duì)離散時(shí)間系統(tǒng)的滾動(dòng)時(shí)域近似動(dòng)態(tài)規(guī)劃（Receding horizon ADP，RHADP）優(yōu)化控制方法。該方法在每個(gè)預(yù)測(cè)時(shí)域內(nèi)均采用有限時(shí)域的近似動(dòng)態(tài)規(guī)劃方法求解閉環(huán)的最優(yōu)控制策略，并且其收斂性和受控系統(tǒng)的穩(wěn)定性均得到證明。此外，分析結(jié)果表明新方法的計(jì)算復(fù)雜性為O(N2)，而采用內(nèi)點(diǎn)法作為優(yōu)化方法的非線性模型預(yù)測(cè)

5、控制方法的計(jì)算復(fù)雜性為O(N3L)。對(duì)移動(dòng)機(jī)器人的軌跡跟蹤問(wèn)題和Van der pol振蕩器控制問(wèn)題的仿真研究結(jié)果表明，新方法能夠獲得優(yōu)于采用內(nèi)點(diǎn)法作為優(yōu)化方法的非線性模型預(yù)測(cè)控制方法的控制性能，并且計(jì)算代價(jià)也明顯降低。
　?。?）提出了一種自適應(yīng)的自主車側(cè)向控制方法。首先建立了自主車側(cè)向控制問(wèn)題的馬爾可夫決策過(guò)程模型，然后采用基于核的對(duì)偶啟發(fā)式規(guī)劃（Kernel-baseddual heuristic programming，K

6、DHP）算法來(lái)求取該控制問(wèn)題的閉環(huán)最優(yōu)策略。由于KDHP算法具有良好的自優(yōu)化和泛化能力，因此有利于控制器在不同的道路形狀及車速條件下獲得較高的控制精度。在總里程約為200km的實(shí)車實(shí)驗(yàn)中（包括大曲率路徑，校園道路，城市道路和高速公路），平均側(cè)向誤差約為0.18m，并且在某些條件下能夠獲得比已在車上使用的基于預(yù)瞄和運(yùn)動(dòng)學(xué)模型的反饋控制方法更高的控制精度，同時(shí)也避免了在拐大彎時(shí)誤“抄近道”的問(wèn)題。
　　本文的研究成果已用于項(xiàng)目的自主駕