基于數(shù)據(jù)的ADP離線值迭代算法和在線Q學(xué)習(xí)算法研究.pdf

1、自適應(yīng)動態(tài)規(guī)劃方法是求解非線性系統(tǒng)最優(yōu)控制的一種有效控制方法。在被控對象的內(nèi)部動態(tài)特性已知的情況下，自適應(yīng)動態(tài)規(guī)劃的值迭代算法和策略迭代算法都可以用于求解最優(yōu)控制。將基于數(shù)據(jù)的控制理論方法和自適應(yīng)動態(tài)規(guī)劃方法相結(jié)合，研究基于數(shù)據(jù)的自適應(yīng)動態(tài)規(guī)劃方法，可以在被控對象內(nèi)部動態(tài)特性未知的情況下求解非線性最優(yōu)控制問題?；跀?shù)據(jù)離線自適應(yīng)動態(tài)規(guī)劃方法，是通過采集系統(tǒng)的離線數(shù)據(jù)，并且在系統(tǒng)建模的基礎(chǔ)上實(shí)現(xiàn)對系統(tǒng)的優(yōu)化控制；一般情況下，離線數(shù)據(jù)相對在

2、線數(shù)據(jù)能夠更加全面地反映出系統(tǒng)運(yùn)行的內(nèi)部動態(tài)特性，基于數(shù)據(jù)離線自適應(yīng)動態(tài)規(guī)劃算法可以得到相對全局的優(yōu)化控制解；但是，離線數(shù)據(jù)的更新時間相對在線數(shù)據(jù)更新時間要長，基于數(shù)據(jù)離線自適應(yīng)動態(tài)規(guī)劃算法運(yùn)行速度相對較慢，并且在系統(tǒng)不確定性和建模誤差存在的情況下，其算法的白適應(yīng)能力也相對較差。基于數(shù)據(jù)在線自適應(yīng)動態(tài)規(guī)劃方法，直接利用系統(tǒng)運(yùn)行的在線數(shù)據(jù)來實(shí)現(xiàn)對系統(tǒng)的優(yōu)化控制；雖然，在線數(shù)據(jù)的更新相對離線數(shù)據(jù)要快，算法的運(yùn)行速度較快，自適應(yīng)能力較強(qiáng)，能夠

3、達(dá)到實(shí)時控制的要求，但是在線數(shù)據(jù)相對離線數(shù)據(jù)的局部性使得算法容易陷入局部最優(yōu)。
　　 針對上述存在的問題，結(jié)合自適應(yīng)動態(tài)規(guī)劃離在線實(shí)現(xiàn)的優(yōu)缺點(diǎn)，本文提出一種先離線后在線的自適應(yīng)優(yōu)化控制方法，即：在被控對象未知的情況下，采用基于數(shù)據(jù)自適應(yīng)動態(tài)規(guī)劃離線值迭代算法首先對系統(tǒng)進(jìn)行離線優(yōu)化控制，再使用在線Q學(xué)習(xí)策略迭代算法對離線優(yōu)化控制進(jìn)行在線改善。這種先離線后在線的基于數(shù)據(jù)的自適應(yīng)優(yōu)化控制方法，可以充分利用基于數(shù)據(jù)離線白適應(yīng)動態(tài)規(guī)劃方法

4、和在線白適應(yīng)動態(tài)規(guī)劃方法的優(yōu)點(diǎn)。
　　 甘蔗制糖澄清生產(chǎn)過程，是一個復(fù)雜的物理化學(xué)過程，具有非線性強(qiáng)、滯后大、不確定性強(qiáng)、輸入多等特點(diǎn)。傳統(tǒng)的基于機(jī)理模型的控制理論方法，在對甘蔗制糖澄清生產(chǎn)過程的pH值控制中，由于難于建立系統(tǒng)準(zhǔn)確的數(shù)學(xué)模型而使得其控制效果很不理想。通過采集糖廠澄清工段系統(tǒng)的數(shù)據(jù)建立糖廠澄清工段系統(tǒng)的模型，本文將提出的方法用于甘蔗制糖澄清生產(chǎn)過程中的中和pH值的優(yōu)化控制，取得了較好的控制效果，驗(yàn)證了本文所提出算法