反向傳播網(wǎng)絡(luò)(bp網(wǎng)絡(luò))

1、反向傳播網(wǎng)絡(luò)（反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）網(wǎng)絡(luò)）1概述概述前面介紹了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和模型，在實(shí)際應(yīng)用中，我們用的最廣泛的是反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）。下面就介紹一下BP網(wǎng)絡(luò)的結(jié)構(gòu)和應(yīng)用。BP網(wǎng)絡(luò)是采用WidrowHoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是WidrowHoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計(jì)算梯度的方法。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度

2、算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。這一章我們將討論使用這些規(guī)則和這些算法的優(yōu)缺點(diǎn)。一個(gè)經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個(gè)輸入并沒有被訓(xùn)練過。這個(gè)特性使得BP網(wǎng)絡(luò)很適合采用輸入目標(biāo)對進(jìn)行訓(xùn)練，而且并不需要把所有可能的輸入目標(biāo)對都訓(xùn)練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個(gè)特性規(guī)則化和早期停止。這兩個(gè)特性和用途我們將在這一章的后面討論。這一章還將討論網(wǎng)絡(luò)的預(yù)處理和后處理技術(shù)以提高網(wǎng)絡(luò)訓(xùn)練效率。

3、2基礎(chǔ)基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)前一章已詳細(xì)討論過，前饋型BP網(wǎng)絡(luò)的結(jié)構(gòu)結(jié)構(gòu)和它基本相同，這里就不再詳細(xì)論述了，這里著重說明以下幾點(diǎn)：1常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig，有時(shí)也會(huì)用到線性函數(shù)purelin。當(dāng)網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時(shí)，輸出被限制在一個(gè)很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。以上三個(gè)函數(shù)是BP網(wǎng)絡(luò)中最常用到的函數(shù)，但是如果需要的話你也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。2在BP網(wǎng)絡(luò)中，

4、轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、logsig和purelin都有對應(yīng)的導(dǎo)函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù)，你可以帶字符“deriv“的轉(zhuǎn)移函數(shù)：tansig(deriv)ans=dtansig網(wǎng)絡(luò)構(gòu)建和初始化網(wǎng)絡(luò)構(gòu)建和初始化訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。這需要4個(gè)輸入?yún)?shù)。第一個(gè)參數(shù)是一個(gè)Rx2的矩陣以定義R個(gè)輸入向量的最小值和最大

5、值。第二個(gè)參數(shù)是一個(gè)顢頇每層神經(jīng)元個(gè)數(shù)的數(shù)組。第三個(gè)參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。舉個(gè)例子，下面命令將創(chuàng)建一個(gè)二層網(wǎng)絡(luò)其網(wǎng)絡(luò)模型如下圖所示。它的輸入是兩個(gè)元素的向量，第一層有三個(gè)神經(jīng)元，第二層有一個(gè)神經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tansigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。輸入向量的第一個(gè)元素的范圍是1到2，輸入向量的第二個(gè)元素的范圍是0到5，訓(xùn)練函數(shù)是traingd。技術(shù)決定，它要

6、通過網(wǎng)絡(luò)實(shí)現(xiàn)反向計(jì)算。反向傳播計(jì)算源自使用微積分的鏈規(guī)則。基本的反向傳播算法的權(quán)重沿著梯度的負(fù)方向移動(dòng)，這將在下一節(jié)講述。以后的章節(jié)將講述更復(fù)雜的算法以提高收斂速度。反向傳播算法反向傳播算法反向傳播算法中有許多變量，這一章將討論其中的一些。反向傳播學(xué)習(xí)算法最簡單的應(yīng)用是沿著性能函數(shù)最速增加的方向梯度的負(fù)方向更新權(quán)重和偏置。這種遞歸算法可以寫成：xk1=xkakgk這里xk是當(dāng)前權(quán)重和偏置向量，gk是當(dāng)前梯度，ak是學(xué)習(xí)速率。有兩種不同的

7、辦法實(shí)現(xiàn)梯度下降算法：增加模式和批處理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計(jì)算一次并更新權(quán)重。在批處理模式中，當(dāng)所有的輸入都被提交后網(wǎng)絡(luò)才被更新。下面兩節(jié)將討論增加模式和批處理模式。增加模式訓(xùn)練法（增加模式訓(xùn)練法（ADAPT）函數(shù)adapt用來訓(xùn)練增加模式的網(wǎng)絡(luò)，它從訓(xùn)練設(shè)置中接受網(wǎng)絡(luò)對象、網(wǎng)絡(luò)輸入和目標(biāo)輸入，返回訓(xùn)練過的網(wǎng)絡(luò)對象、用最后的權(quán)重和偏置得到的輸出和誤差。這里有幾個(gè)網(wǎng)絡(luò)參數(shù)必須被設(shè)置，第一個(gè)是.adaptFcn，它決

8、定使用哪一種增加模式函數(shù)，缺省值為adaptwb，這個(gè)值允許每一個(gè)權(quán)重和偏置都指定它自己的函數(shù)，這些單個(gè)的學(xué)習(xí)函數(shù)由參數(shù).biasesij.learnFcn、.inputWeightsij.learnFcn、.layerWeightsij.learnFcn和GradientDescent(LEARDGD)來決定。對于基本的梯度最速下降算法，權(quán)重和偏置沿著性能函數(shù)的梯度的負(fù)方向移動(dòng)。在這種算法中，單個(gè)的權(quán)重和偏置的學(xué)習(xí)函數(shù)設(shè)定為“l(fā)ear

9、ngd“。下面的命令演示了怎樣設(shè)置前面建立的前饋函數(shù)參數(shù)：.biases11.learnFcn=learngd.biases21.learnFcn=learngd.layerWeights21.learnFcn=learngd.inputWeights11.learnFcn=learngd函數(shù)learngd有一個(gè)相關(guān)的參數(shù)學(xué)習(xí)速率lr。權(quán)重和偏置的變化通過梯度的負(fù)數(shù)乘上學(xué)習(xí)速率倍數(shù)得到。學(xué)習(xí)速率越大，步進(jìn)越大。如果學(xué)習(xí)速率太大算法就會(huì)變

10、得不穩(wěn)定。如果學(xué)習(xí)速率太小，算法就需要很長的時(shí)間才能收斂。當(dāng)learnFcn設(shè)置為learngd時(shí)，就為每一個(gè)權(quán)重和偏置設(shè)置了學(xué)習(xí)速率參數(shù)的缺省值，如上面的代碼所示，當(dāng)然你也可以自己按照意愿改變它。下面的代碼演示了把層權(quán)重的學(xué)習(xí)速率設(shè)置為0.2。我們也可以為權(quán)重和偏置單獨(dú)的設(shè)置學(xué)習(xí)速率。.layerWeights21.learnParam.lr=0.2為有序訓(xùn)練設(shè)置的最后一個(gè)參數(shù)是.adaptParam.passes，它決定在訓(xùn)練過程中

11、訓(xùn)練值重復(fù)的次數(shù)。這里設(shè)置重復(fù)次數(shù)為200.adaptParam.passes=200現(xiàn)在我們就可以開始訓(xùn)練網(wǎng)絡(luò)了。當(dāng)然我們要指定輸入值和目標(biāo)值如下所示：p=[11220505]t=[1111]如果我們要在每一次提交輸入后都更新權(quán)重，那么我們需要將輸入矩陣和目標(biāo)矩陣轉(zhuǎn)變?yōu)榧?xì)胞數(shù)組。每一個(gè)細(xì)胞都是一個(gè)輸入或者目標(biāo)向量。p=num2cell(p1)t=num2cell(t1)現(xiàn)在就可以用adapt來實(shí)現(xiàn)增加方式訓(xùn)練了:[ae]=adapt(