采用導(dǎo)數(shù)約束關(guān)系的前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化方法研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)以人的大腦工作模式為基礎(chǔ)，通過(guò)大量神經(jīng)元的相互作用來(lái)體現(xiàn)處理能力。人工神經(jīng)網(wǎng)絡(luò)最重要的特點(diǎn)就是學(xué)習(xí)能力。從本質(zhì)上講，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是一個(gè)優(yōu)化的過(guò)程，即根據(jù)具體的誤差信息來(lái)合理地選擇網(wǎng)絡(luò)的權(quán)重。 目前，人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化學(xué)習(xí)算法，僅利用網(wǎng)絡(luò)的輸出數(shù)據(jù)誤差作為指導(dǎo)信息來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，而沒(méi)有有效引入樣本點(diǎn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系誤差來(lái)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，導(dǎo)致網(wǎng)絡(luò)泛化能力差、實(shí)用性不大。單純將輸出數(shù)據(jù)誤差最小作為標(biāo)準(zhǔn)來(lái)指導(dǎo)網(wǎng)絡(luò)進(jìn)

2、行訓(xùn)練，其本質(zhì)只是對(duì)樣本數(shù)據(jù)精確插值，而這樣的插值是非光滑的，從而對(duì)非樣本數(shù)據(jù)產(chǎn)生較大誤差。因此，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，除了考慮樣本數(shù)據(jù)所提供的信息外，還應(yīng)考慮樣本數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，并把這些關(guān)系轉(zhuǎn)化為約束形式引入到網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化過(guò)程當(dāng)中。 在網(wǎng)絡(luò)模型的輸入與輸出關(guān)系的建立中，最重要的指導(dǎo)信息是輸入與輸出之間的導(dǎo)數(shù)關(guān)系，只有正確建立了這種導(dǎo)數(shù)關(guān)系才能建立輸入與輸出之間正確的數(shù)值對(duì)應(yīng)關(guān)系。本文以神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化為主線，以提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練速