Ridge Polynomial神經(jīng)網(wǎng)絡(luò)帶動量項算法和灰度剪枝算法的研究.pdf

1、在對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，梯度算法被應(yīng)用的最為廣泛。但是，梯度算法也存在著收斂速度慢及過擬合的缺點(diǎn)。本文主要針對RidgePolynomial神經(jīng)網(wǎng)絡(luò)，通過采用動量項法和基于灰度理論的剪枝算法以解決上述缺點(diǎn)。主要研究內(nèi)容如下:
　　第一，由于傳統(tǒng)梯度訓(xùn)練算法收斂速度慢，所以，文中提出了一種將動量項加到傳統(tǒng)梯度算法權(quán)值變化算法中以訓(xùn)練Ridge Polynomial神經(jīng)網(wǎng)絡(luò)。此算法不僅提高了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，而且其收斂速度也得到

2、了很大提高。理論分析證明了所提出算法具有收斂性，同時，實驗結(jié)果也說明了算法的有效性。
　　第二，由于傳統(tǒng)的Ridge Polynomial神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)隨著隱節(jié)點(diǎn)數(shù)的增多，網(wǎng)絡(luò)規(guī)模也急劇增大，因此文中提出一種將灰色關(guān)聯(lián)分析應(yīng)用到RidgePolynomial神經(jīng)網(wǎng)絡(luò)隱節(jié)點(diǎn)的確定中的算法以實現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。根據(jù)神經(jīng)網(wǎng)絡(luò)縱向、橫向灰色關(guān)聯(lián)度的分析來反映出神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)輸出與網(wǎng)絡(luò)最終輸出的相關(guān)緊密程度。先用縱向關(guān)聯(lián)度確定出需要被減去