基于進(jìn)化計(jì)算的前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究.pdf

1、對(duì)復(fù)雜系統(tǒng)進(jìn)行仿真及建模研究，一直是系統(tǒng)仿真領(lǐng)域的研究難點(diǎn)和研究熱點(diǎn)。由于系統(tǒng)規(guī)模、環(huán)境、信息以及任務(wù)日趨復(fù)雜，系統(tǒng)包含嚴(yán)重的非線性、不確定性，不確知性和不能預(yù)測(cè)的突變性等，應(yīng)用傳統(tǒng)機(jī)理的一些建模方法，已幾乎無法建立其精確的數(shù)學(xué)模型。
　　人工神經(jīng)網(wǎng)絡(luò)通過大量互連神經(jīng)元之間連接權(quán)值的分布存儲(chǔ)來表示網(wǎng)絡(luò)的解題知識(shí)，具有并行處理、自學(xué)習(xí)和能以任意精度逼近任意非線性函數(shù)等特性。神經(jīng)網(wǎng)絡(luò)具有的這些優(yōu)點(diǎn)使其適宜于復(fù)雜系統(tǒng)建模中；但神經(jīng)網(wǎng)絡(luò)在

2、應(yīng)用中還存在的一些問題，譬如網(wǎng)絡(luò)學(xué)習(xí)局部極小，收斂速度緩慢，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)復(fù)雜及泛化性能弱等等，神經(jīng)網(wǎng)絡(luò)的這些缺陷阻礙了它在其它領(lǐng)域中應(yīng)用。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從本質(zhì)上說是網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值的優(yōu)化過程，神經(jīng)網(wǎng)絡(luò)這些局限性都不可避免地會(huì)牽涉到網(wǎng)絡(luò)學(xué)習(xí)中的優(yōu)化問題，采用傳統(tǒng)確定性搜索方法已很難有效解決。進(jìn)化計(jì)算是一類模擬生物進(jìn)化過程與機(jī)制求解問題的人工智能技術(shù)。與傳統(tǒng)優(yōu)化方法不同，進(jìn)化計(jì)算方法具有智能性和本質(zhì)并行性兩大特點(diǎn)，它不受對(duì)象目標(biāo)函數(shù)連續(xù)可微條件

3、約束，在一些離散、多態(tài)、含噪聲的優(yōu)化問題中更顯示出該方法獨(dú)特的優(yōu)勢(shì)，進(jìn)化算法具有的這些優(yōu)點(diǎn)為解決神經(jīng)網(wǎng)絡(luò)自身缺陷提供了一條全新可行途徑。
　　本論文在前人工作基礎(chǔ)上，針對(duì)前向網(wǎng)絡(luò)在復(fù)雜系統(tǒng)建模中亟需解決的若干問題，深入研究了采用進(jìn)化計(jì)算方法改善神經(jīng)網(wǎng)絡(luò)在系統(tǒng)建模中的學(xué)習(xí)性能，并相應(yīng)提出了新的方法和實(shí)現(xiàn)策略。
　　首先，在網(wǎng)絡(luò)結(jié)構(gòu)固定情況下，針對(duì)傳統(tǒng)BP學(xué)習(xí)方法對(duì)網(wǎng)絡(luò)學(xué)習(xí)易陷于局部極值、學(xué)習(xí)精度不高等缺陷，提出一種基于梯度粒子

4、群優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)方法。該方法將BP操作作為一算子嵌入到PSO算法中，采用混合交叉訓(xùn)練方式，在每一代進(jìn)化過程中都在精英粒子附近再進(jìn)行BP搜索，獲得精度更高優(yōu)化解，并引導(dǎo)群體快速進(jìn)化；該方法還引入”變異“思想，對(duì)群體粒子位置不給以界限約束，而用新產(chǎn)生隨機(jī)粒子取代飛離搜索區(qū)域粒子，減輕算法在進(jìn)化后期早熟、收斂停滯的缺陷。實(shí)驗(yàn)結(jié)果表明該學(xué)習(xí)方法學(xué)習(xí)精度高，收斂速度快，在性能上優(yōu)于常規(guī)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。
　　其次，研究了一種前向網(wǎng)

5、絡(luò)結(jié)構(gòu)與權(quán)值并行調(diào)整優(yōu)選方法。針對(duì)單一進(jìn)化算法對(duì)復(fù)雜優(yōu)化問題存在早熟收斂、優(yōu)化效率低的問題，提出一種粒子群優(yōu)化方法與實(shí)數(shù)編碼遺傳算法相結(jié)合的混合改進(jìn)遺傳算法(HIGAPSO)。該方法采用混沌序列產(chǎn)生初始種群、非線性排序選擇、多個(gè)交叉后代競(jìng)爭(zhēng)擇優(yōu)和變異尺度自適應(yīng)變異等改進(jìn)遺傳操作；并通過精英個(gè)體保留、粒子群優(yōu)化及改進(jìn)遺傳算法(IGA)三種策略共同作用產(chǎn)生種群新個(gè)體。理論證明HIGAPSO具有概率為1的全局收斂性，實(shí)驗(yàn)結(jié)果也表明該方法顯著提

6、高了算法優(yōu)化性能及其優(yōu)化解的可靠性。在此基礎(chǔ)上，利用HIGAPSO方法并行優(yōu)化前向網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值，提出一種基于混合進(jìn)化策略的網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值并行調(diào)整優(yōu)選方法，該方法在神經(jīng)網(wǎng)絡(luò)每互聯(lián)節(jié)點(diǎn)連接之間還引入開關(guān)系數(shù)，由開關(guān)系數(shù)控制網(wǎng)絡(luò)結(jié)構(gòu)，并由網(wǎng)絡(luò)連接權(quán)值參數(shù)決定網(wǎng)絡(luò)輸入輸出關(guān)系，通過HIGAPSO混合算法搜索空間內(nèi)優(yōu)選一組最佳開關(guān)系數(shù)與權(quán)值參數(shù)組合。仿真結(jié)果表明該方法設(shè)計(jì)的網(wǎng)絡(luò)學(xué)習(xí)精度高，結(jié)構(gòu)更為節(jié)儉。
　　然后，研究了利用粒子群算法對(duì)徑

7、向基網(wǎng)絡(luò)(RBF)的設(shè)計(jì)問題，建立徑向基網(wǎng)絡(luò)模型關(guān)鍵在于確定網(wǎng)絡(luò)隱中心向量、基寬度參數(shù)和隱節(jié)點(diǎn)數(shù)。為設(shè)計(jì)結(jié)構(gòu)簡(jiǎn)單，且具有良好泛化性能徑向基網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種RBF網(wǎng)絡(luò)的兩級(jí)學(xué)習(xí)新設(shè)計(jì)方法。該方法在下級(jí)由正則化正交最小二乘法與D-最優(yōu)試驗(yàn)設(shè)計(jì)結(jié)合算法自動(dòng)構(gòu)建結(jié)構(gòu)節(jié)儉的RBF網(wǎng)絡(luò)模型；在上級(jí)通過粒子群優(yōu)化算法優(yōu)選結(jié)合算法中影響網(wǎng)絡(luò)泛化性能的三個(gè)學(xué)習(xí)參數(shù)，即基寬度參數(shù)、正則化系數(shù)和D-最優(yōu)代價(jià)系數(shù)的最佳參數(shù)組合。仿真實(shí)例表明了該方法是一種較