反向傳播網絡(bp網絡)

1、反向傳播網絡（反向傳播網絡（BP網絡）網絡）1概述概述前面介紹了神經網絡的結構和模型，在實際應用中，我們用的最廣泛的是反向傳播網絡（BP網絡）。下面就介紹一下BP網絡的結構和應用。BP網絡是采用WidrowHoff學習算法和非線性可微轉移函數(shù)的多層網絡。一個典型的BP網絡采用的是梯度下降算法，也就是WidrowHoff算法所規(guī)定的。backpropagation就是指的為非線性多層網絡計算梯度的方法。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度

2、算法和牛頓算法。神經網絡工具箱提供了許多這樣的算法。這一章我們將討論使用這些規(guī)則和這些算法的優(yōu)缺點。一個經過訓練的BP網絡能夠根據輸入給出合適的結果，雖然這個輸入并沒有被訓練過。這個特性使得BP網絡很適合采用輸入目標對進行訓練，而且并不需要把所有可能的輸入目標對都訓練過。為了提高網絡的適用性，神經網絡工具箱提供了兩個特性規(guī)則化和早期停止。這兩個特性和用途我們將在這一章的后面討論。這一章還將討論網絡的預處理和后處理技術以提高網絡訓練效率。

3、2基礎基礎網絡結構網絡結構神經網絡的結構前一章已詳細討論過，前饋型BP網絡的結構結構和它基本相同，這里就不再詳細論述了，這里著重說明以下幾點：1常用的前饋型BP網絡的轉移函數(shù)有l(wèi)ogsig，tansig，有時也會用到線性函數(shù)purelin。當網絡的最后一層采用曲線函數(shù)時，輸出被限制在一個很小的范圍內，如果采用線性函數(shù)則輸出可為任意值。以上三個函數(shù)是BP網絡中最常用到的函數(shù)，但是如果需要的話你也可以創(chuàng)建其他可微的轉移函數(shù)。2在BP網絡中，

4、轉移函數(shù)可求導是非常重要的，tansig、logsig和purelin都有對應的導函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉移函數(shù)的導函數(shù)，你可以帶字符“deriv“的轉移函數(shù)：tansig(deriv)ans=dtansig網絡構建和初始化網絡構建和初始化訓練前饋網絡的第一步是建立網絡對象。函數(shù)newff建立一個可訓練的前饋網絡。這需要4個輸入參數(shù)。第一個參數(shù)是一個Rx2的矩陣以定義R個輸入向量的最小值和最大

5、值。第二個參數(shù)是一個顢頇每層神經元個數(shù)的數(shù)組。第三個參數(shù)是包含每層用到的轉移函數(shù)名稱的細胞數(shù)組。最后一個參數(shù)是用到的訓練函數(shù)的名稱。舉個例子，下面命令將創(chuàng)建一個二層網絡其網絡模型如下圖所示。它的輸入是兩個元素的向量，第一層有三個神經元，第二層有一個神經元。第一層的轉移函數(shù)是tansigmoid，輸出層的轉移函數(shù)是linear。輸入向量的第一個元素的范圍是1到2，輸入向量的第二個元素的范圍是0到5，訓練函數(shù)是traingd。技術決定，它要

6、通過網絡實現(xiàn)反向計算。反向傳播計算源自使用微積分的鏈規(guī)則。基本的反向傳播算法的權重沿著梯度的負方向移動，這將在下一節(jié)講述。以后的章節(jié)將講述更復雜的算法以提高收斂速度。反向傳播算法反向傳播算法反向傳播算法中有許多變量，這一章將討論其中的一些。反向傳播學習算法最簡單的應用是沿著性能函數(shù)最速增加的方向梯度的負方向更新權重和偏置。這種遞歸算法可以寫成：xk1=xkakgk這里xk是當前權重和偏置向量，gk是當前梯度，ak是學習速率。有兩種不同的

7、辦法實現(xiàn)梯度下降算法：增加模式和批處理模式。在增加模式中，網絡輸入每提交一次，梯度計算一次并更新權重。在批處理模式中，當所有的輸入都被提交后網絡才被更新。下面兩節(jié)將討論增加模式和批處理模式。增加模式訓練法（增加模式訓練法（ADAPT）函數(shù)adapt用來訓練增加模式的網絡，它從訓練設置中接受網絡對象、網絡輸入和目標輸入，返回訓練過的網絡對象、用最后的權重和偏置得到的輸出和誤差。這里有幾個網絡參數(shù)必須被設置，第一個是.adaptFcn，它決

8、定使用哪一種增加模式函數(shù)，缺省值為adaptwb，這個值允許每一個權重和偏置都指定它自己的函數(shù)，這些單個的學習函數(shù)由參數(shù).biasesij.learnFcn、.inputWeightsij.learnFcn、.layerWeightsij.learnFcn和GradientDescent(LEARDGD)來決定。對于基本的梯度最速下降算法，權重和偏置沿著性能函數(shù)的梯度的負方向移動。在這種算法中，單個的權重和偏置的學習函數(shù)設定為“l(fā)ear

9、ngd“。下面的命令演示了怎樣設置前面建立的前饋函數(shù)參數(shù)：.biases11.learnFcn=learngd.biases21.learnFcn=learngd.layerWeights21.learnFcn=learngd.inputWeights11.learnFcn=learngd函數(shù)learngd有一個相關的參數(shù)學習速率lr。權重和偏置的變化通過梯度的負數(shù)乘上學習速率倍數(shù)得到。學習速率越大，步進越大。如果學習速率太大算法就會變

10、得不穩(wěn)定。如果學習速率太小，算法就需要很長的時間才能收斂。當learnFcn設置為learngd時，就為每一個權重和偏置設置了學習速率參數(shù)的缺省值，如上面的代碼所示，當然你也可以自己按照意愿改變它。下面的代碼演示了把層權重的學習速率設置為0.2。我們也可以為權重和偏置單獨的設置學習速率。.layerWeights21.learnParam.lr=0.2為有序訓練設置的最后一個參數(shù)是.adaptParam.passes，它決定在訓練過程中

11、訓練值重復的次數(shù)。這里設置重復次數(shù)為200.adaptParam.passes=200現(xiàn)在我們就可以開始訓練網絡了。當然我們要指定輸入值和目標值如下所示：p=[11220505]t=[1111]如果我們要在每一次提交輸入后都更新權重，那么我們需要將輸入矩陣和目標矩陣轉變?yōu)榧毎麛?shù)組。每一個細胞都是一個輸入或者目標向量。p=num2cell(p1)t=num2cell(t1)現(xiàn)在就可以用adapt來實現(xiàn)增加方式訓練了:[ae]=adapt(