冪激勵(lì)和正交基神經(jīng)網(wǎng)絡(luò)的權(quán)值直接確定方法.pdf

1、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN，簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)）是由大量神經(jīng)元相互連接而構(gòu)成的系統(tǒng)，以其并行處理、分布式存儲(chǔ)、自適應(yīng)自組織自學(xué)習(xí)和高度容錯(cuò)能力等特性，在諸多學(xué)科和領(lǐng)域取得了廣泛的應(yīng)用。作為一種重要和典型的神經(jīng)網(wǎng)絡(luò)模型，BP神經(jīng)網(wǎng)絡(luò)存在著諸如收斂速度慢、易陷入局部極小點(diǎn)、隱神經(jīng)元數(shù)難確定、學(xué)習(xí)率難選取等各種不確定性的本質(zhì)弱點(diǎn)。人們提出了許多改進(jìn)算法，但似乎仍然無(wú)法從理論根本上解決這些長(zhǎng)久以來(lái)存在的弱

2、點(diǎn)。 本文根據(jù)數(shù)值逼近和多項(xiàng)式插值理論，從網(wǎng)絡(luò)結(jié)構(gòu)和激勵(lì)函數(shù)入手，分別以一組階次漸增的冪函數(shù)和多種正交多項(xiàng)式作為隱層神經(jīng)元的激勵(lì)函數(shù)，構(gòu)造了一類可統(tǒng)一描述的新型前向神經(jīng)網(wǎng)絡(luò)模型?；谶@類網(wǎng)絡(luò)模型，探討了其實(shí)現(xiàn)網(wǎng)絡(luò)逼近的可行性和有效性。類似于誤差回傳（BP）的經(jīng)典做法，推導(dǎo)出了其權(quán)值修正的迭代公式（包括標(biāo)量形式和矩陣形式）。區(qū)別于反復(fù)迭代訓(xùn)練而達(dá)到最優(yōu)權(quán)值的標(biāo)準(zhǔn)做法，本文基于矩陣偽逆的思想提出了一種權(quán)值直接確定的方法。該新方法可以

3、一步直接計(jì)算出網(wǎng)絡(luò)的最優(yōu)權(quán)值，從而避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法冗長(zhǎng)的迭代學(xué)習(xí)過(guò)程。 計(jì)算機(jī)仿真結(jié)果顯示，本文所構(gòu)造的新型前向神經(jīng)網(wǎng)絡(luò)模型和基于此類模型提出的權(quán)值直接確定方法，具有優(yōu)良的函數(shù)逼近能力，學(xué)習(xí)速度快、仿真與預(yù)測(cè)精度高。并且其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、易于硬件實(shí)現(xiàn)。 值得指出的是，在此權(quán)值直接確定法的基礎(chǔ)上，本文還進(jìn)一步探索出一種確定神經(jīng)網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)的方法。這種網(wǎng)絡(luò)結(jié)構(gòu)自確定法可以快速有效地計(jì)算出神經(jīng)網(wǎng)絡(luò)滿足性能要求的最優(yōu)隱神經(jīng)元