關(guān)于改進神經(jīng)網(wǎng)絡(luò)泛化性能的若干算法研究.pdf

1、作為模式識別的有力工具,神經(jīng)網(wǎng)絡(luò)雖然具有強大的非線性逼近能力,但這并不能保證其同時具備理想的泛化性能.本文從模型和算法兩方面出發(fā),對神經(jīng)網(wǎng)絡(luò)進行了研究,旨在提高其泛化性能.具體內(nèi)容如下.
　　1.基于二維前饋神經(jīng)網(wǎng)絡(luò)(2D-FNNs)的梯度下降學習算法.由于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)(FNNs)是基于向量輸入的,而許多數(shù)據(jù)是以矩陣的形式呈現(xiàn)的,因此在運用FNN之間這些矩陣數(shù)據(jù)必須被分解成向量的形式.這樣轉(zhuǎn)化的缺點是導致原始矩陣數(shù)據(jù)中元素之間

2、相關(guān)性信息的丟失.不同于傳統(tǒng)基于向量輸入的FNNs,我們提出了一個新的算法來訓練2D-FNNs用于圖像識別,名為二維反向傳播算法(2D-BP),即采用梯度下降學習該網(wǎng)絡(luò)中所有權(quán)值.這樣的網(wǎng)絡(luò)模型保留了原始二維輸入特征的結(jié)構(gòu),有利于圖像識別.在手寫體字符和人臉數(shù)據(jù)庫上的實驗結(jié)果驗證了該算法的有效性.
　　2.基于二維隨機權(quán)網(wǎng)絡(luò)(2D-NNRW)的負相關(guān)集成學習算法.2D-NNRW基于單隱層2D-FNN,隨機選定隱層左右投影權(quán)值和偏置

3、值,只學習線性權(quán)值.該算法作為NNRW的擴展,雖然也簡化減少了2D-FNN的訓練,但它同樣需要足夠多的隱層節(jié)點數(shù)作為保障,這也容易導致過擬合現(xiàn)象.而當網(wǎng)絡(luò)比較緊致時,它只是弱分類器,而集成學習可以彌補2D-NNRW的這一缺陷.作為最有效的集成算法之一,負相關(guān)學習(NCL)通過控制基模型之間的差異性,來產(chǎn)生具有更好泛化性能的集成模型.因此,我們結(jié)合NCL和2D-NNRW,提出了去相關(guān)二維隨機權(quán)網(wǎng)絡(luò)集成算法(DNNE2D-NNRW).實驗結(jié)

4、果表明,該方法在人臉識別上,相比于其他相關(guān)算法,更有效地提高了模型的泛化性能.
　　3.基于隨機局部線性模型(RLLMs)的負相關(guān)集成學習(NCL)算法.作為一種高效的集成學習框架，NCL不僅僅適用于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò).這里我們還可以采用一類特殊的FNNs名叫RLLMS作為基模型,并結(jié)合NCL來生成新的集成神經(jīng)網(wǎng)絡(luò),進而提出了DNNE RLLM集成算法.其中的RLLMs同樣結(jié)合了隨機的思想,即隨機選定網(wǎng)絡(luò)中的非線性權(quán)值,采用負相關(guān)學