動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)中的奇異性研究.pdf

1、諸如神經(jīng)網(wǎng)絡(luò)在內(nèi)的層次網(wǎng)絡(luò)中普遍存在奇異性。奇異性問題的研究已經(jīng)成為當(dāng)前的一個(gè)重要發(fā)展方向。層次網(wǎng)絡(luò)中的奇異性導(dǎo)致許多奇異現(xiàn)象發(fā)生: Cramér-Rao定理不再成立，極大似然估計(jì)不再具有漸近高斯性，收斂速度變得極為緩慢，平坦區(qū)現(xiàn)象出現(xiàn)等等。如何降低奇異性影響，加快學(xué)習(xí)動(dòng)態(tài)中的收斂速度是一項(xiàng)非常有意義的研究課題。本文圍繞徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(MLPs)學(xué)習(xí)和非線性系統(tǒng)辨識(shí)中的奇異性問題，以信息幾何方法為基礎(chǔ)，提出了應(yīng)用于RBFs學(xué)習(xí)和非線

2、性系統(tǒng)辨識(shí)中的自適應(yīng)自然梯度算法。本研究主要內(nèi)容包括：
　?、叛芯苛司€性系統(tǒng)辨識(shí)和非線性系統(tǒng)辨識(shí)中的奇異性是否存在的問題。將非線性系統(tǒng)分為兩類，并分別對(duì)它們辨識(shí)中的奇異性存在問題進(jìn)行研究。就線性系統(tǒng)和關(guān)于參數(shù)線性的非線性系統(tǒng)辨識(shí)而言，在假設(shè)噪聲是高斯白噪聲的情況下，得到這兩類系統(tǒng)的Fisher信息矩陣，并證明該信息矩陣在信號(hào)是充分激勵(lì)的條件下始終正定。對(duì)關(guān)于參數(shù)非線性的非線性系統(tǒng)，因?yàn)檫@類系統(tǒng)中包含系統(tǒng)的種類比較多，只能選擇常見的

3、某類系統(tǒng)進(jìn)行分析。通過對(duì)噪聲信號(hào)的假設(shè)，得到其Fisher信息矩陣，以及該矩陣退化的區(qū)域。對(duì)所研究系統(tǒng)，作出了誤差變化曲線，觀察該曲線中是否存在平坦區(qū)現(xiàn)象，以及平坦區(qū)現(xiàn)象出現(xiàn)的區(qū)域，以驗(yàn)證理論推導(dǎo)。
　?、铺岢隽艘环N應(yīng)用于RBFs學(xué)習(xí)的自然梯度學(xué)習(xí)算法。在假設(shè)輸入信號(hào)是高斯變量的情況下，得到了Fisher信息矩陣。利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達(dá)式。在隱節(jié)點(diǎn)數(shù)目較多的情況下，F(xiàn)i

4、sher信息矩陣及其逆矩陣的計(jì)算非常困難。本文結(jié)合Kalman濾波技巧和一個(gè)等式提出了能夠應(yīng)用于RBFs的自適應(yīng)自然梯度算法。并且將這種方法應(yīng)用于非線性函數(shù)擬合，Mackey-Glass混沌時(shí)間序列預(yù)測，非線性時(shí)變系統(tǒng)辨識(shí)等等，與文獻(xiàn)資料中的結(jié)果對(duì)比發(fā)現(xiàn)，所提算法能夠取得好的學(xué)習(xí)效果。
　　⑶針對(duì)關(guān)于參數(shù)非線性的非線性系統(tǒng)辨識(shí)中出現(xiàn)的奇異性，研究了自然梯度學(xué)習(xí)算法在該類非線性系統(tǒng)辨識(shí)中的應(yīng)用。在假設(shè)輸入信號(hào)是均勻變量的情況下，得到

5、了Fisher信息矩陣。并利用Sherman-Morrison公式得到了Fisher信息矩陣的逆矩陣的具體表達(dá)式。在系統(tǒng)項(xiàng)數(shù)較多的情況下，F(xiàn)isher信息矩陣及其逆矩陣的計(jì)算非常困難。另外，在實(shí)際問題中，輸入信號(hào)的概率分布未知，本文結(jié)合Kalman濾波技巧和一個(gè)等式提出了能夠應(yīng)用于這類關(guān)于參數(shù)非線性的非線性系統(tǒng)辨識(shí)的自適應(yīng)自然梯度學(xué)習(xí)算法。通過數(shù)值仿真發(fā)現(xiàn)，所提算法能夠有效降低奇異性影響，加快學(xué)習(xí)動(dòng)態(tài)，取得好的辨識(shí)結(jié)果。
　?、柔?/p>