基于模糊強化學習的柔性結構控制方法研究.pdf

1、隨著深空探測、射電天文的不斷發(fā)展，大型射電望遠鏡被廣泛應用。新一代射電望遠鏡的口徑也越來越大以獲得更好的觀測性能。但由于大天線的柔性、外界干擾等不利因素的存在，對天線控制系統(tǒng)提出了更高的指向精度、跟蹤精度及魯棒性等要求。本文以大天線控制問題為研究背景，將人工智能領域的強化學習作為柔性結構控制方法，在保證一定跟蹤精度的同時，抑制柔性振動。
　　但是，傳統(tǒng)的強化學習方法適于處理小規(guī)模的離散狀態(tài)或離散動作學習任務而不能求解連續(xù)狀態(tài)空間和

2、連續(xù)動作空間的問題。針對此不足，本文把模糊推理作為函數(shù)逼近器引入到強化學習中，利用模糊推理的廣泛逼近性，使得提出的模糊強化學習算法能夠較好地處理大規(guī)?；蜻B續(xù)空間問題。與此同時，將基于模糊強化學習算法的柔性結構控制應用于連續(xù)空間柔性尺模型的控制中進行驗證。本文主要工作如下：
　　(1)針對傳統(tǒng)Q值查找表型強化學習算法在處理連續(xù)空間學習任務時所面臨的“維數(shù)難”以及輸出動作策略不連續(xù)問題，提出基于一型模糊推理的強化學習算法。該算法首先將

3、連續(xù)狀態(tài)空間進行模糊劃分；其次，以狀態(tài)為模糊規(guī)則前件輸入、動作及相應的Q值函數(shù)分量為規(guī)則后件輸出構建模糊規(guī)則，通過模糊推理獲得組合連續(xù)動作；最后由強化學習時間差分誤差采用梯度下降法在線反向調(diào)節(jié)后件參數(shù)。
　　(2)針對基于一型模糊推理的強化學習存在的魯棒局限性，提出基于二型模糊推理的強化學習算法。以具有三維特性、能夠更加貼切描述實際不確定性的二型模糊集合為基礎的二型模糊系統(tǒng)，在處理干擾等不確定性問題時其相對于一型表現(xiàn)出更強的處理系

4、統(tǒng)不確定性的能力。與此同時，考慮使用作為二型模糊集合特例的區(qū)間二型模糊集，結合其能夠極大簡化廣義上二型模糊集合的運算量的優(yōu)勢，最終設計出一種基于區(qū)間二型模糊推理的強化學習算法。該算法在實現(xiàn)較好處理連續(xù)空間問題的基礎上，對噪聲干擾的魯棒性得到了進一步的加強。
　　(3)通過對柔性尺模型的仿真控制驗證本文所提兩種模糊強化學習算法。結果表明，基于一型模糊強化學習算法的柔性結構控制，相比于基于查找表型強化學習算法的柔性結構控制，其在保證一