深度學習的模型搭建及過擬合問題的研究 _0

1、深度學習的模型搭建及過擬合問題的研究深度學習的模型搭建及過擬合問題的研究深度學習的概念源于人工神經網絡的研究[3]。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數據的分布式特征表示。在深度學習泛化（generalization）過程中，主要存在兩個挑戰(zhàn)：欠擬合和過擬合（overfitting）。欠擬合是指模型不能在訓練集上獲得足夠小的誤差，而過擬合是指訓練誤差和測試誤差

2、之間的差距太大。1模型設計1.1多層感知器結構[1]本文采用多層感知器（MLP）作為訓練模型，它是一種前饋人工神經網絡模型。它包括至少一個隱藏層（除了一個輸入層和一個輸出層以外）本文采用的多層感知器模型中的信號流傳播如下：⑴輸入：yi（n）為i神經元的輸出，為下一個神經元j的輸入。⑵誘導局部區(qū)域：神經元j被它左邊的yi（n）神經元產生的一組函數信號所饋，神經元j產生誘導局部區(qū)域。⑶激活函數：神經元j輸出處的函數信號yi（n）為，其中為j

3、層神經元的激活函數。采用激活函數的一個好處是引入非線性因素，使神經網絡變成非線性系統(tǒng)。本文采用Sigmoid函數作為激活函數，其定義為：，導數可用自身表示：見圖1，我們對式中通過鏈式規(guī)則后的偏導數可以看到：，神經元k是輸出節(jié)點，故：以上為倒數第一個隱藏層的傳播公式，得出了j的反向傳播遞推公式（k為j正向傳播的下一個神經元），并用Sigmoid函數作為激活函數：于是我們得出了遞歸的校正值的定義：2實驗本模型以識別手寫數字為例，測試深度學習

4、模型。本文采用的數據集為著名的MNIST數據集。這個數據集有60000個訓練樣本和10000個測試用例。我們首先對該模型進行驗證，然后通過調整訓練集的大小和神經網絡的結構來觀察其對正確率的影響。2.1模型算法學習階段：本文采用minibatch梯度下降算法：假設總樣本數為Sn，將Sn隨機按每組N個樣本分為（SnN）組。多層感知器的突觸權值的調整在訓練樣本集合的所有N個樣本例都出現(xiàn)后進行。（SnN）次完成整個樣本集的訓練，構成了一個訓練的