基于進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練研究.pdf

1、神經(jīng)網(wǎng)絡(luò)已經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)最重要的方法之一，其具有分布式存儲(chǔ)信息，并行協(xié)同處理信息和自組織學(xué)習(xí)處理信息等特點(diǎn)。論文以神經(jīng)網(wǎng)絡(luò)為對(duì)象，采用進(jìn)化算法對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練進(jìn)行深入的研究，提出了基于進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)框架優(yōu)化算法及神經(jīng)網(wǎng)絡(luò)集成訓(xùn)練算法，并對(duì)所提算法的原理、參數(shù)以及性能進(jìn)行了深入的探討。論文的主要工作有以下幾方面。
　　首先，對(duì)神經(jīng)網(wǎng)絡(luò)框架優(yōu)化方法進(jìn)行了深入研究，提出了一種基于自適應(yīng)的多局部搜索操作的混合算法。所提算法引入了一

2、種自適應(yīng)的多局部搜索操作機(jī)制，可同時(shí)對(duì)網(wǎng)絡(luò)框架中的隱節(jié)點(diǎn)數(shù)量和權(quán)值大小進(jìn)行微調(diào)。該多局部搜索操作機(jī)制提出了三種局部搜索操作，隱節(jié)點(diǎn)分裂，隱節(jié)點(diǎn)合并和一次BP算法迭代，并使用一種自適應(yīng)的選擇策略在三個(gè)局部搜索操作中選擇有效的局部搜索操作對(duì)網(wǎng)絡(luò)框架進(jìn)行微調(diào)，該自適應(yīng)策略是基于各局部搜索操作的搜索特征。同時(shí)，所提算法提出了一種新的突變策略，即個(gè)體的突變概率是根據(jù)其適應(yīng)度值在種群中的排序所設(shè)定。該突變策略有助于平衡算法的全局搜索能力和局部搜索能

3、力，從而減輕了進(jìn)化過(guò)程中過(guò)早收斂的問(wèn)題。所提算法在大量的分類(lèi)數(shù)據(jù)集上進(jìn)行測(cè)試，并與一些相關(guān)的方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果顯示所提算法能設(shè)計(jì)一個(gè)泛化能力強(qiáng)的神經(jīng)網(wǎng)絡(luò)。
　　更進(jìn)一步，對(duì)神經(jīng)網(wǎng)絡(luò)集成的訓(xùn)練方法進(jìn)行了深入的研究，提出了一種基于小生境技術(shù)和自適應(yīng)負(fù)相關(guān)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)集成算法。負(fù)相關(guān)學(xué)習(xí)采用了同時(shí)訓(xùn)練方式對(duì)多個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在每個(gè)網(wǎng)絡(luò)的誤差函數(shù)中加入一個(gè)相關(guān)懲罰項(xiàng)。然而，相關(guān)懲罰項(xiàng)參數(shù)λ的設(shè)定對(duì)神經(jīng)網(wǎng)絡(luò)集成的訓(xùn)練有著重要的影

4、響。所提算法引入了一種自適應(yīng)的負(fù)相關(guān)學(xué)習(xí)方法，在訓(xùn)練過(guò)程中自適應(yīng)地調(diào)整懲罰項(xiàng)參數(shù)λ的值。這種自適應(yīng)策略是基于一種新的差異度測(cè)量方式，該測(cè)量方式是基于個(gè)體在相同數(shù)據(jù)樣本上的輸出距離。同時(shí)，該新差異度測(cè)量方式考慮了網(wǎng)絡(luò)種群的基因的多樣性，并在每個(gè)網(wǎng)絡(luò)計(jì)算差異度時(shí)增加一個(gè)適應(yīng)度權(quán)值，進(jìn)一步保證差異度測(cè)量的可靠性。此外，一種改進(jìn)的動(dòng)態(tài)小生境技術(shù)被引入所提算法中，用于維持進(jìn)化過(guò)程中網(wǎng)絡(luò)種群的多樣性，保證集成中網(wǎng)絡(luò)個(gè)體間的差異度。所提算法在大量的分