BP算法的改進及其應用.pdf

1、人工神經網絡是近年來的熱點研究領域，其應用領域諸多，包括：信息處理、材料學、交通、經濟等，并在不斷拓展。在眾多的神經網絡中，又以BP(BACK-PROPAGATION，簡稱BP)神經網絡的應用最為廣泛，它所采用的基于誤差逆?zhèn)鞑サ膶W習算法也被廣泛運用于各種神經網絡之中。這類學習算法具有很好非線性映射能力、泛化能力和容錯能力。但由于BP算法采用梯度下降算法作為學習算法規(guī)則，因而存在收斂速度慢以及容易陷入局部極小等缺點，而且它的網絡結構也沒有

2、統(tǒng)一的理論作為指導，這些缺點極大的影響了BP神經網絡的應用和普及。
　　 本文分析研究了BP算法的原理、相關改進方法。在此基礎上，分別構想了一種基于誤差率的復合誤差函數用于改善BP算法容易陷入局部極小值的缺陷和一種分層動態(tài)對學習率進行調整的方法用于提高BP算法的收斂速度。最后從算法融合的角度出發(fā)，在對標準遺傳算法的關鍵算子進行了改進的基礎上，構造了一種基于改進遺傳算法的BP神經網絡模型。本文的主要研究工作如下：
　　 (

3、1)回顧了BP神經網絡的生物神經網絡理論基礎，對人工神經網絡理論進行概述。其中重點研究了BP神經網絡模型，對其推導過程進行了詳細分析，論述了該算法的局限性，為下步改進奠定基礎。
　　 (2)針對BP算法存在的容易陷入局部極小值現(xiàn)象，構想了一種基于誤差率的復合誤差函數。該復合誤差函數將隱含層的特殊性考慮進來，定義了隱含層的誤差函數Ehidden，定義了衡量誤差大小的因子-誤差率。以誤差率為權重，根據輸出層和隱含層的誤差大小，對權值

4、進行最適合的調整，從而保證算法始終能對權值進行最合適的調整；針對BP算法存在的收斂速度過慢現(xiàn)象，構想了一種分層動態(tài)調整學習率的方法。該方法為隱含層和輸出層分別設置了不同學習率，并且會根據誤差大小，以及誤差的趨勢分別對隱含層和輸出層的學習率進行動態(tài)調整。這就有效的避免了標準BP算法中，靜態(tài)學習率帶來的收斂速度過慢問題。
　　 (3)將擅長全局搜索的的遺傳算法和局部尋優(yōu)能力較強的BP算法相結合，構造了一種基于改進的遺傳算法的BP神經