基于光滑L0正則子的神經網絡稀疏化梯度學習算法研究.pdf

1、科學家們在探索人類大腦的過程中形成了一門新的學科——神經網絡，近年來在各個領域得到了廣泛應用。前饋神經網絡是一種重要的神經網絡模型，而基于梯度信息的BP算法是最為流行的神經網絡學習算法。人們在梯度算法的基礎上提出各種改進方法，其中運用較多的一種方法是基于正則化思想的網絡剪枝方法，其通過在誤差函數中添加正則項，使多余單元的權值趨于零，并對權值趨于零的單元剪枝，從而達到減小網絡的復雜度，提高網絡泛化能力的效果。L0正則化方法具有最優(yōu)的稀疏性

2、，但其求解是NP難問題，難以和神經網絡的學習算法進行結合。本文利用光滑函數序列對L0正則子進行逼近，進而提出一種帶光滑Lp正則項的梯度學習算法，并對算法的稀疏性、收斂性進行理論分析。
　　本文第一章介紹神經網絡的發(fā)展歷程，神經網絡的學習方式和學習算法，以及梯度學習算法，并在此基礎上對Lp正則化方法作詳細介紹;第二章研究帶光滑L0正則項的批處理梯度學習算法，同時建立了算法的稀疏性、收斂性結果及其數學證明，并通過數值實驗對理論結果進行