多隱層前饋神經網絡的隨機賦權訓練算法研究.pdf

1、智能軟件系統(tǒng)已成為軟件工程領域最重要的研發(fā)對象之一。無論是學術界還是工業(yè)界，都對能使軟件智能化的算法產生了濃厚的興趣。其中，與模式分類有關的算法更是得到了業(yè)內的廣泛關注，通過對分類算法的研究、優(yōu)化與創(chuàng)新，使得軟件智能化的水平得到了顯著的提高。最近幾年，人工神經網絡在理論上和應用上的突破都引人矚目，尤其是深層神經網絡的優(yōu)越性正逐漸被人們所認可，國內外很多學者都致力于深層神經網絡的研究工作，并提出了大量的優(yōu)秀算法。
　　深層神經網絡模

2、型的種類很多，根據(jù)訓練算法來分，其中有兩類，第一類是基于貪婪算法的逐層預訓練的深層神經網絡模型；第二種是通過隨機賦權方法來構造的深層神經網絡模型。本文第一部分的工作主要研究了兩類深層神經網絡模型中具有代表性的兩個模型。其中，基于受限玻爾茲曼機逐層預訓練的方法是深度學習的主要方法之一，該方法通過借助物理能量模型來對網絡中每一層的參數(shù)進行預訓練，之后逐層疊加成深度置信網絡，通過在最后一層加上softmax層輸出網絡的分類結果，然后進行網絡精

3、調，本文以這個方法為基礎，結合廣義逆的知識對該方法進行了簡化的工作，并進行比較研究；另外，用基于極速學習機的原理來訓練得到的深層網絡是典型的深層隨機賦權網絡，該類型的網絡以效率著稱，并在工業(yè)界得到了廣泛的應用。本文第二部分的主要工作是對分類器集成方法的研究，并且利用分類器集成的方法將深層神經網絡模型進行集成，并將這種方法與深度學習、深度隨機賦權網絡進行了比較研究。
　　在本文的實驗部分，為了使得對比分析結果具有客觀性，本文選取了多