高階神經(jīng)網(wǎng)絡的梯度訓練算法收斂性分析.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡是由多層的求和單元構成的，例如多層感知器等．這些網(wǎng)絡不但是學者們研究的熱點并且已經(jīng)在各個領域得到了廣泛應用．由于求和單元自身的非線性映射能力有限，因此在解決復雜的問題時，單純由求和單元構成的網(wǎng)絡可能無法達到要求的精度．例如，盡管有結論指出，有求和單元構成的單隱層前饋網(wǎng)絡可以以任意的精度逼近任意函數(shù)．但是在逼近某個復雜的函數(shù)時，網(wǎng)絡的隱層中需要補充大量的求和單元．這不但增大了網(wǎng)絡的成本，而且還降低了網(wǎng)絡的泛化能力．

2、為了克服這個缺點，人們引入了某些具有更強的非線性性質(zhì)的單元，例如：Sigma-Pi單元，積單元和Pi-Sigma單元等．這些單元可以通稱為高階單元．在結構中整合了高階單元的神經(jīng)網(wǎng)絡被稱為高階神經(jīng)網(wǎng)絡(HONN)，其中包括Sigma-Pi神經(jīng)網(wǎng)絡(SPNN)，Pi-Sigma神經(jīng)網(wǎng)絡(PSNN)以及積單元神經(jīng)網(wǎng)絡(Product-Unitneuralnetwork-PUNN)等．人們已經(jīng)對各類高階神經(jīng)網(wǎng)絡的性能以及應用做了相應的研究，但是

3、由于高階神經(jīng)網(wǎng)絡的結構復雜，因此對其理論上的研究相對較少． 梯度算法是目前最流行的前饋神經(jīng)網(wǎng)絡訓練算法．梯度法有兩種不同的執(zhí)行方式，它們是在線執(zhí)行方式和批處理執(zhí)行方式．本文主要的工作是分析用梯度法訓練高階神經(jīng)網(wǎng)絡的收斂性．我給出了Sigma-Pi神經(jīng)網(wǎng)絡和積單元神經(jīng)網(wǎng)絡的梯度法收斂性結果．此外，我還研究了用高階神經(jīng)網(wǎng)絡來實現(xiàn)任意的布爾函數(shù)，并給出了有效地解決方案． 本文的結構及內(nèi)容如下： 第一章回顧有關神經(jīng)網(wǎng)絡的

4、一些背景知識． 在第二章中，通過對∑-∏-∑這類Sigma-Pi神經(jīng)網(wǎng)絡的分析，得到了一些與網(wǎng)絡結構無關的梯度算法收斂性結論．該結論具有很好的擴展性，可以涵蓋其他幾類Sigma-Pi神經(jīng)網(wǎng)絡的收斂性，其中包括∑-∑-∏和∑-∏-∑-∏．并且此結論也適用于單隱層的求和神經(jīng)網(wǎng)絡，即∑-∑．在論述的過程了，對于訓練過程中的誤差函數(shù)的單調(diào)性也給出了相應的證明． 第三章和第四章分別對用批處理梯度算法和在線梯度算法訓練積單元神經(jīng)網(wǎng)絡

5、時誤差函數(shù)的單調(diào)性及收斂性進行了分析．該結論為由全局搜索算法和局部優(yōu)化算法(梯度法)構成的組合算法的局部優(yōu)化行為提供了理論支持．隨后的數(shù)值試驗也驗證了理論結果的正確性． 第五章提出了二進積單元神經(jīng)網(wǎng)絡(BinaryProduct-Unitneuralnetwork-BPUNN)，并證明了這種網(wǎng)絡可以模擬邏輯數(shù)學中的主析取范式，可以實現(xiàn)任意的布爾函數(shù)．網(wǎng)絡的權值是通過直接計算得到的，而且都是二值的．隨后還給出了該網(wǎng)絡的規(guī)則讀取算法