復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的研究與應(yīng)用.pdf

1、本文主要研究了三類不同的復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法。這三類復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)分別為前向網(wǎng)絡(luò)中的多層感知器網(wǎng)絡(luò)和徑向基網(wǎng)絡(luò)以及遞歸神經(jīng)網(wǎng)絡(luò)。經(jīng)過深入研究，我們分別對(duì)這三類復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)提出了有效的訓(xùn)練算法，并用于解決模式識(shí)別中的一些實(shí)際問題。對(duì)于復(fù)數(shù)值前向神經(jīng)網(wǎng)絡(luò)，復(fù)數(shù)值反向傳播算法（Backpropagation algorithm, BP）是一種常用的訓(xùn)練算法。但是，當(dāng)采用激勵(lì)函數(shù)是分裂式S型函數(shù)時(shí)，存在著飽和區(qū)域。飽和區(qū)域的存在嚴(yán)重影響了

2、BP算法的訓(xùn)練速度，甚至導(dǎo)致復(fù)數(shù)值訓(xùn)練失敗。針對(duì)這一問題，我們提出了基于可調(diào)整增益參數(shù)的復(fù)數(shù)值反向傳播算法。在訓(xùn)練的過程中，根據(jù)輸出誤差調(diào)整增益參數(shù)，使得激勵(lì)函數(shù)能夠自動(dòng)調(diào)整飽和區(qū)域，從而避免飽和區(qū)域影響訓(xùn)練速度。隱層神經(jīng)元中心的選擇是復(fù)數(shù)值徑向基函數(shù)（Radial Basis Function,RBF）神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中一個(gè)非常重要的問題。最近提出的最大寬度算法是根據(jù)某一類樣本到其他類樣本的距離確定中心。因?yàn)檫@種算法在選取中心時(shí)忽略了

3、同一類樣本相互之間的距離關(guān)系，存在著一些不足，從而影響到了算法的性能。針對(duì)這一不足，我們提出了一個(gè)新的隱層神經(jīng)元中心的選取算法。在該算法中，我們不僅考慮不同類樣本之間的距離關(guān)系，而且將同一類樣本之間的相互距離也考慮在內(nèi)。計(jì)算這兩種距離的比率，將其作為選擇隱層神經(jīng)元中心的依據(jù)。
　　本文研究了復(fù)數(shù)值遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法。據(jù)我們所知，目前還沒有將復(fù)數(shù)值 Levenberg-Marquardt（LM）算法運(yùn)用于復(fù)數(shù)值遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

4、中。因此，我們提出使用復(fù)數(shù)值LM算法對(duì)復(fù)數(shù)值Jordan型遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。Jordan型網(wǎng)絡(luò)以前向網(wǎng)絡(luò)結(jié)構(gòu)為主，帶有反饋連接。這種結(jié)構(gòu)既保留了前一次網(wǎng)絡(luò)的輸出狀態(tài)，又不會(huì)使訓(xùn)練過于復(fù)雜。復(fù)數(shù)值LM算法利用自適應(yīng)調(diào)整阻尼因子，加快訓(xùn)練的收斂速度。為了驗(yàn)證本論文提出的復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的有效性，我們分別將這些算法用于解決手勢(shì)識(shí)別問題以及 UCI中一些公共數(shù)據(jù)集的分類問題。實(shí)驗(yàn)結(jié)果表明，本論文提出的復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法能取得更高的