神經(jīng)元控制

1、神經(jīng)元網(wǎng)絡控制,神經(jīng)網(wǎng)絡控制是20世紀80年代末期發(fā)展起來的控制領域的前沿學科之一。它是智能控制的一個新的分支，為解決復雜非線性、不確定、不確知系統(tǒng)的控制問題開辟了新途徑。,,第一章 概論,神經(jīng)網(wǎng)絡系統(tǒng)是由大量的、同時也是很簡單的神經(jīng)元廣泛地互相連接而形成的復雜網(wǎng)絡系統(tǒng)。它反映了人腦功能的許多基本特性，但它并不是人腦神經(jīng)網(wǎng)絡系統(tǒng)的真實寫照，而只是對其作某種簡化抽象和機制模擬。 研究神經(jīng)網(wǎng)絡系統(tǒng)的目的在于探索人腦加工、

2、存儲和處理信息的機制，進而研制基本具有人類智能的機器。 一般認為，神經(jīng)網(wǎng)絡系統(tǒng)是一個高度復雜的非線性動力學系統(tǒng)。雖然每個神經(jīng)元的結(jié)構(gòu)和功能十分簡單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡系統(tǒng)的行為卻是豐富多彩和十分復雜的。,什么是神經(jīng)網(wǎng)絡(neural network)神經(jīng)網(wǎng)絡是人類對其大腦信息處理機制的模擬,人工神經(jīng)網(wǎng)絡的特點,人工神經(jīng)網(wǎng)絡 是由人工神經(jīng)元互聯(lián)組成的網(wǎng)絡，從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智

3、能的一條重要途徑。人工神經(jīng)網(wǎng)絡 反映了人腦功能的若干基本特征，如，并行信息處理、學習、聯(lián)想、模式分類、記憶等。,神經(jīng)網(wǎng)絡控制取得的進展,神經(jīng)網(wǎng)絡用于控制領域，取得了如下進展。 1. 神經(jīng)網(wǎng)絡系統(tǒng)辯識：重點在于非線性系統(tǒng)的建模與辨識。 2. 神經(jīng)網(wǎng)絡控制：對不確定、不確知系統(tǒng)及擾動進行有效的控制，使控制系統(tǒng)達到所要求的特性。 3. 神經(jīng)網(wǎng)絡與其它算法結(jié)合：與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，為系統(tǒng)提供非參數(shù)模

4、型、控制器模型。 4. 優(yōu)化計算 5. 控制系統(tǒng)的故障診斷 本課程介紹前三個方面的問題,,神經(jīng)網(wǎng)絡控制屬于智能控制,由于神經(jīng)網(wǎng)絡具有模擬人的部分智能的特性，因此，神經(jīng)網(wǎng)絡控制 是具有學習能力的，對環(huán)境的變化具有自適應性，成為基本上不依賴于模型的一類控制。神經(jīng)網(wǎng)絡控制 主要解決非線性系統(tǒng)的控制問題。能學習、自適應性、非線性控制是神經(jīng)網(wǎng)絡控制的特點。神經(jīng)網(wǎng)絡控制屬于智能控制,第二章 神經(jīng)網(wǎng)絡理論基礎,

5、1. 介紹模擬生物神經(jīng)元的人工神經(jīng)元模型2. 控制中常用的前饋與反饋型網(wǎng)絡的理論基礎 闡述其中若干種網(wǎng)絡的模型、學習算法、逼近非線性函數(shù)的能力、泛化能力、收斂性等,本章主要內(nèi)容,引 言,人腦神經(jīng)系統(tǒng) 　人腦約由10^11～10^12個神經(jīng)元組成，每個神經(jīng)元約與10^4～10^5個神經(jīng)元聯(lián)接，能接受并處理信息。因此，人腦是復雜的信息并行加工處理巨系統(tǒng)。人的思維是由腦完成的。 　

6、 大腦的自組織、自學習性　　大腦可通過自組織、自學習，不斷適應外界環(huán)境的變化。大腦的自組織、自學習性，來源于神經(jīng)網(wǎng)絡結(jié)構(gòu)的可塑性，主要反映在神經(jīng)元之間聯(lián)接強度的可變性上。,2.1生物神經(jīng)元和人工神經(jīng)元模型,2.1生物神經(jīng)元和人工神經(jīng)元模型,生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本功能單元?！　‰m其形態(tài)有很大的差異，但基本結(jié)構(gòu)相似。　 從信息處理和生物控制角度，簡述其結(jié)構(gòu)和功能。,人工神經(jīng)元模型 簡稱神經(jīng)

7、元模型依據(jù)：生物神經(jīng)元的結(jié)構(gòu)和功能；模擬：生物神經(jīng)元的基本特征，建立的多種神經(jīng)元模型。,一 生物神經(jīng)元的結(jié)構(gòu),（1）細胞體：由細胞核、細胞質(zhì)和細胞膜等組成。 （2）樹突：胞體上短而多分枝的突起。相當于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。 （3）軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。 （4）突觸：神經(jīng)元間的連接接口，

8、每個神經(jīng)元約有1萬～10萬個突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。 （5）細胞膜電位：神經(jīng)細胞在受到電的、化學的、機械的刺激后，能產(chǎn)生興奮，此時，細胞膜內(nèi)外有電位差，稱膜電位。電位膜內(nèi)為正，膜外為負。,二、 神經(jīng)元功能,（1）興奮與抑制： 當傳入神經(jīng)元的沖動，經(jīng)整和，

9、使細胞膜電位升高，超過動作電位的閾值時，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。 當傳入神經(jīng)元的沖動，經(jīng)整和，使細胞膜電位降低，低于閾值時，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。 （2）學習與遺忘：　　　 由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強與減弱，因此，神經(jīng)元具有學習與遺忘的功能。,三、人工神經(jīng)元模型,MP模型,MP模型,其他形式的作用函數(shù) 不同的作用函數(shù)，可

10、構(gòu)成不同的神經(jīng)元模型,,3．對稱型階躍函數(shù),非線性激勵函數(shù),S型(Sigmoid)函數(shù)的特點,具有非線性放大增益。對任意輸人的增益等于該輸入點處的函數(shù)曲線的斜率值。當輸入由－∞增大到零時，其增益由0增至最大；當輸入由0增加至＋∞時，其增益又由最大逐漸降低至0，并總為正值。利用S型函數(shù)可以使同一神經(jīng)網(wǎng)絡既能處理小信號，也能處理大信號。因為該函數(shù)的中間高增益區(qū)解決了處理小信號的問題，而在伸向兩邊的低增益區(qū)正好適用于處理大信號的輸入。,2.2

11、 人工神經(jīng)網(wǎng)絡,一、神經(jīng)網(wǎng)絡連接結(jié)構(gòu),單層神經(jīng)元網(wǎng)絡連接結(jié)構(gòu),將多個的簡單的神經(jīng)元并聯(lián)起來，使每個神經(jīng)元具有相同的輸入矢量，即可組成一個神經(jīng)元層，其中每一個神經(jīng)元產(chǎn)生一個輸出，圖示單層神經(jīng)元網(wǎng)絡。,輸入矢量Ｐ的每個元素通過權(quán)矩陣W與每個輸出神經(jīng)元相連；每個神經(jīng)元通過一個求和符號，在與輸入矢量進行加權(quán)求和運算后，形成激活函數(shù)的輸入矢量，并經(jīng)過激活函數(shù)ｆ作用后得到輸出矢量A。,輸入、權(quán)值、輸出矩陣,輸入矩陣,權(quán)值矩陣,輸出矩陣,連接

12、強度,,多層神經(jīng)元網(wǎng)絡結(jié)構(gòu),三層的神經(jīng)網(wǎng)絡結(jié)構(gòu)圖,b：偏差，閾值，門限值。,二、神經(jīng)網(wǎng)絡的信息處理和存儲,神經(jīng)網(wǎng)絡具有大規(guī)模并行、分布式存儲和處理、自組織、自適應和自學習能力，特別適用于處理需要同時考慮許多因素和條件不精確和模糊的信息處理問題。,神經(jīng)網(wǎng)絡兩大的能力,信息存儲能力,計算能力,,,神經(jīng)網(wǎng)絡的主要特點,分布存儲與冗余性容錯性,并行處理,信息處理與存儲合一,自組織自適應自學習,魯棒性,,,,,,神經(jīng)網(wǎng)絡的能

13、力,神經(jīng)網(wǎng)絡與傳統(tǒng)計算機的比較,傳統(tǒng)計算機的計算與存儲是完全獨立的兩個部分。也就是說計算機在計算之前要從存儲器中取出指令和待處理的數(shù)據(jù)，然后進行計算，最后將結(jié)果又放入到存儲器中。這樣，獨立的存儲器與運算器之間的通道就成為提高計算機計算能力的瓶頸，并且只要這兩個部分是獨立存在的，就始終存在這一問題。 神經(jīng)網(wǎng)絡模型則從本質(zhì)上解決了傳統(tǒng)計算機的這個瓶頸問題。這是因為神經(jīng)網(wǎng)絡的運行是從輸入到輸出的值傳遞過程，在值傳遞的同時就完成

14、了信息的存儲和計算，從而將信息的存儲與信息的處理（計算）完善地結(jié)合在一起。,三、神經(jīng)網(wǎng)絡的學習和訓練,該系統(tǒng)在進行字符識別之前要用環(huán)境中的樣本進行訓練（學習），以使其具備對各種字符進行分類的能力。能夠正確“認識”待識別的字符，該學習過程也稱為訓練過程、慢過程。它主要是改變神經(jīng)元之間的連接權(quán)值以便將有關字符的信息存儲到神經(jīng)網(wǎng)絡中。,舉例,字符識別,,神經(jīng)網(wǎng)絡的學習方法之一,一個神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)確定之后，為了使它具有某種智能特性，必須對

15、它進行訓練。通過向環(huán)境學習獲取知識并改進自身性能是神經(jīng)網(wǎng)絡的一個重要特點。學習方法歸根結(jié)底就是網(wǎng)絡連接權(quán)值的調(diào)整方法，修改權(quán)值的規(guī)則稱為學習算法。學習方式(按環(huán)境提供信息量的多少)主要有三種。,監(jiān)督學習(有教師學習),這種學習方式需要外界存在一個“教師”，他可對給定一組輸入提供應有的輸出結(jié)果(正確答案)，這組已知的輸入輸出數(shù)據(jù)稱為訓練樣本集，學習系統(tǒng)(NN)可根據(jù)已知輸出與實際輸出之間的差值(誤差信號)來調(diào)節(jié)系統(tǒng)參數(shù)。,神經(jīng)網(wǎng)絡的學習方

16、法之二、三,這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息(獎或懲)而不是給出正確答案。學習系統(tǒng)通過強化那些受獎的動作來改善自身的性能。,非監(jiān)督學習(無教師學習),非監(jiān)督學習時不存在外部教師，學習系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)(這是一種自組織過程)，以表示出外部輸入的某種固有特性(如聚類或某種統(tǒng)計上的分布特征)。,再勵學習(強化學習),四、神經(jīng)網(wǎng)絡學習算法基礎,如果單元ui接收來自另一單元

17、uj的輸出，那么，如果兩個單元都高度興奮，則從uj到ui的權(quán)值wij便得到加強。,Hebb學習規(guī)則的基本思想:,該思想用數(shù)學來表達:,ti(t)是對于單元ui的一種理想輸入,該式意味著，從uj到ui的連接權(quán)值的修改量是由單元ui的活躍值ai(t)和它的理想輸入ti(t)的函數(shù)g,及ui的輸出值oj(t)和連接強度wij的函數(shù)h的積確定。,在Hebb學習規(guī)則的最簡單形式中沒有理想輸入，而且函數(shù)g和h與它們的第一個自變量成正比。因此有：,η

18、——學習速率,兩種基本的學習算法,Widrow-Hoff(威德羅-霍夫)規(guī)則,又稱作Delta規(guī)則,,若定義,則有,修正量與目標活躍值和實際的活躍值之差(或稱Delta)成正比,Grossberg規(guī)則—相近學習規(guī)則,Delta規(guī)則可由二次誤差函數(shù)的梯度法導出，故Delta規(guī)則實際上是一種梯度方法。,用于ART、SOFM等自組織競爭型網(wǎng)絡的學習,神經(jīng)網(wǎng)絡的計算過程,無論是在訓練（慢過程）學習中，還是在快過程識別中，神經(jīng)元的計算過程都是一樣

19、的。神經(jīng)元從環(huán)境中或是從其它神經(jīng)元接收信息，利用傳播規(guī)則將這些接收到的信息融合成一總的輸入值，這一輸入值和神經(jīng)元原來的活躍值在活躍規(guī)則的作用下形成神經(jīng)元新的活躍狀態(tài)，輸出函數(shù)根據(jù)神經(jīng)元新的活躍狀態(tài)產(chǎn)生神經(jīng)元的輸出；這一輸出值又傳送給網(wǎng)絡中的其它神經(jīng)元。系統(tǒng)的計算實際上是信息在神經(jīng)網(wǎng)絡中沿神經(jīng)元之間的連接流動并通過神經(jīng)元作相應的處理而完成的。這個過程也就是一個信息傳遞和神經(jīng)元狀態(tài)變換的過程。,五、神經(jīng)網(wǎng)絡的類型,神經(jīng)網(wǎng)絡可以分成以下四種類

20、型,前向型,反饋型,隨機型,競爭型,BP前向神經(jīng)網(wǎng)絡是中廣為應用的一種網(wǎng)絡，其原理及算法也是某些其他網(wǎng)絡的基礎。還有輻射基函數(shù)(RBF)神經(jīng)網(wǎng)絡。,Hopfield神經(jīng)網(wǎng)絡用于非線性動力學問題分析。已在聯(lián)想記憶和優(yōu)化計算中得到成功的應用。,具有隨機性質(zhì)的模擬退火(SA)算法解決了優(yōu)化計算過程陷于局部極小的問題，并已在神經(jīng)網(wǎng)絡的學習及優(yōu)化計算中得到成功的應用。,競爭型網(wǎng)絡的特點是能識別環(huán)境的特征,并自動聚類。廣泛用于自動控制、故障診斷等各

21、類模式識別中。,六、人工神經(jīng)網(wǎng)絡與自動控制,人工神經(jīng)網(wǎng)絡對自動控制具有多種有吸引力的特點，主要有： ⑴它能以任意精度逼近任意連續(xù)非線性函數(shù)。⑵對復雜不確定問題具有自適應和自學習能力。⑶它的信息處理的并行機制可以解決控制系統(tǒng)中大規(guī)模實時計算問題，而且并行機制中的冗余性可以使控制系統(tǒng)具有很強的容錯能力。⑷它具有很強的信息綜合能力，能同時處理定量和定性的信息，能很好地協(xié)調(diào)多種輸入信息的關系，適用于多信息融合（Fusion）和多媒體技術(shù)

22、。⑸神經(jīng)計算可以解決許多自動控制計算問題，如優(yōu)化計算和矩陣代數(shù)計算等。⑹便于用VLSI或光學集成系統(tǒng)實現(xiàn)或用現(xiàn)有計算機技術(shù)虛擬實現(xiàn)。,人工神經(jīng)網(wǎng)絡在控制系統(tǒng)中的應用,神經(jīng)網(wǎng)絡的興起為非線性系統(tǒng)的控制提供了新的活力。神經(jīng)網(wǎng)絡在控制系統(tǒng)中的應用是多種多樣的，就其在控制系統(tǒng)中所起的作用而言有如下幾種方式：⑴為控制系統(tǒng)提供某種模型。⑵充當各類控制器。⑶作為計算部件實現(xiàn)某種優(yōu)化計算。,人工神經(jīng)網(wǎng)絡的主要應用領域,語音識別、圖象識別與理解

23、、計算機視覺、智能機器人、故障檢測、實時語言翻譯、企業(yè)管理、市場分析、決策優(yōu)化、物資調(diào)運、自適應控制、專家系統(tǒng)、智能接口、神經(jīng)生理學、心理學和認知科學研究等等。,模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制,2.3 多層前饋網(wǎng)絡與BP學習算法,多層前饋網(wǎng)絡的反向傳播 （BP）學習算法，簡稱BP算法，是有導師的學習，它是梯度下降法在多層前饋網(wǎng)中的應用。,網(wǎng)絡結(jié)構(gòu),u、y是網(wǎng)絡的輸入、輸出向量，神經(jīng)元用節(jié)點表示，網(wǎng)絡由輸入層、

24、隱層和輸出層節(jié)點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點通過權(quán)聯(lián)接。由于用BP學習算法，所以常稱BP神經(jīng)網(wǎng)絡。,一、BP學習算法的基本思想,已知網(wǎng)絡的輸入/輸出樣本，即導師信號。BP學習算法由正向傳播和反向傳播組成：正向傳播是輸入信號從輸入層經(jīng)隱層，傳向輸出層，若輸出層得到了期望的輸出，則學習算法結(jié)束；否則，轉(zhuǎn)至反向傳播。反向傳播是將誤差(樣本輸出與網(wǎng)絡輸出之差）按原聯(lián)接通路反向計算，由梯度下降法調(diào)整各層節(jié)點的權(quán)

25、值和閾值，使誤差減小。,,正向傳播,,反向傳播,通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡權(quán)值和偏差的變化而逐漸逼近目標。每一次權(quán)值和偏差的變化都與網(wǎng)絡誤差的影響成正比，并以反向傳播的方式傳遞到每一層的。,在正向傳播過程中，輸入信息從輸人經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來

26、修改各層神經(jīng)元的權(quán)值直至達到期望目標。,二、BP學習算法框圖,⑴權(quán)值和閾值初始化:隨機地給全部權(quán)值和神經(jīng)元的閾值賦以初始值；,⑵給定輸入/輸出樣本對；,⑶計算實際輸出y；,⑹反向傳播計算：從輸出層開始，將誤差信號沿連接通路反向計算，逐層修正各權(quán)值。,⑷計算網(wǎng)絡的目標函數(shù)J(t)；,⑸判別：若J(t)≤ε(預先確定,ε＞0)，算法結(jié)束。否則，至步驟⑹。,⑺達到誤差精度或循環(huán)次數(shù)要求，則輸出結(jié)果，否則回到⑵。,三、BP學習算法步驟⑴,正向傳

27、播,,三、BP學習算法步驟⑵,正向傳播,,三、BP學習算法步驟⑶,反向傳播,,具體算法,,,,三、BP學習算法步驟⑷,,,,,ml是節(jié)點i后邊一層的第ml個節(jié)點。,,節(jié)點ml的第j個輸入。,當i ＝ j 時，,,四、BP學習算法有關的幾個問題,四、BP學習算法有關的幾個問題,（5） 改進的BP算法 梯度下降法的不足，是BP算法收斂速度慢的原因，有改進的BP算法克服其不足，如：,四、BP學習算法有關的幾個問題,四、BP學習算法有

28、關的幾個問題,EBP學習算法示意圖⑴,EBP學習算法示意圖⑵,五、BP網(wǎng)絡的設計,網(wǎng)絡的層數(shù),每層的神經(jīng)元個數(shù),激活函數(shù)的選擇,初始權(quán)值,學習速率,網(wǎng)絡的層數(shù),,理論上己經(jīng)證明：具有偏差和至少一個s型隱含層加上一個線性輸出層的網(wǎng)絡，能夠逼近任何有理函數(shù)。這實際上已經(jīng)給了我們一個基本的設計BP網(wǎng)絡的原則。增加層數(shù)主要可以更進一步的降低誤差，提高精度，但同時也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡權(quán)值的訓練時間。而誤差精度的提高實際上也可以通過增加隱

29、含層中的神經(jīng)元數(shù)目來獲得，其訓練效果也比增加層數(shù)更容易觀察和調(diào)整。所以一般情況下，應優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。,隱含層的神經(jīng)元數(shù),網(wǎng)絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。那么究竟選取多少個隱含層節(jié)點才合適?這在理論上并沒有一個明確的規(guī)定。在具體設計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓練對比，然后適當?shù)丶由弦稽c余量。,初始權(quán)值的選取,由于系統(tǒng)是

30、非線性的，初始值對于學習是否達到局部最小、是否能夠收斂以及訓練時間的長短的關系很大。如果初始權(quán)值太大，使得加權(quán)后的輸入和n落在了S型激活函數(shù)的飽和區(qū)，從而導致其導數(shù)非常小，而在計算權(quán)值修正公式中，因為η∝導數(shù)，當導數(shù)→0時，則有η →0。這使得ΔW→0，從而使得調(diào)節(jié)過程幾乎停頓下來。所以，一般總是希望經(jīng)過初始加權(quán)后的每個神經(jīng)元的輸出值都接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能夠在它們的S型激活函數(shù)變化最大之處進行調(diào)節(jié)。所以，一般取初始

31、權(quán)值在(-1,1)之間的隨機數(shù)。,學習速率,學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權(quán)值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定;但小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0.01-0.8之間。,在一個神經(jīng)網(wǎng)絡的設計過程中。網(wǎng)絡要經(jīng)過幾個不同的學習速率的訓練，通過觀察每一次訓練后的誤差平方和

32、的下降速率來判斷所選定的學習速率是否合適。如果誤差平方和下降很快，則說明學習速率合適，若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學習速率過大。對于每一個具體網(wǎng)絡都存在一個合適的學習速率。但對于較復雜網(wǎng)絡，在誤差曲面的不同部位可能需要不同的學習速率。為了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適約方法是采用變化的自適應學習速率，使網(wǎng)絡的訓練在不同的階段自動設置不同學習速率的大小。,EBP算法學習速率的調(diào)整,在EBP算法中，連接權(quán)的調(diào)整決定于學

33、習速率和梯度，但是，在基本的EBP算法中，學習速率是不變的。實際上學習速率對收斂速度的影響也很大，通過對它的在線調(diào)整，可以大大提高收斂速度。 學習速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學習過程失穩(wěn)。學習速率可以根據(jù)誤差變化的信息和誤差函數(shù)對連接權(quán)梯度變化的信息進行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對學習速率的梯度直接進行調(diào)整。,對于成批處理可以根據(jù)總誤差變化的信息進行啟發(fā)式調(diào)整，其規(guī)則是： (1)若總誤差E減

34、小(即新誤差比老誤差小)，則學習速率增加(例如將實際值乘以因子a=1.05)。 (2)若總誤差E增加(即新誤差比老誤差大)，則學習速率減小。當新誤差與老誤差之比超過一定值(例如1.04)，則學習速率快速下降(例如將實際值乘以因子b=0.7)。,期望誤差的選取,在設計網(wǎng)絡的訓練過程中，期望誤差值也應當通過對比訓練后確定一個合適的值，這個所謂的"合適"，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠

35、增加隱含層的節(jié)點，以及訓練時間來獲得的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡進行訓練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡。,六、基于MATLAB的BP網(wǎng)絡程序設計,T＝[－0.9602 －0.577 0.0729 0.3771 0.6405 0.6600 0.4609 －0.2013 －0.4344 －0.5 －0.3930 0.1647 0.0988 0.3072 0.3960 0.3449 0.18

36、16 －0.0312 －0.2183 －0.3201]。,舉例：設計一BP網(wǎng)絡，使之完成下面的非線性映射。,已知訓練樣本集為：,輸入矢量：X＝－1：0.1：1；,目標矢量：,⒈網(wǎng)絡結(jié)構(gòu)設計,現(xiàn)已證明，具有一個隱層，隱層作用函數(shù)采用S函數(shù)，輸出層采用線性函數(shù)的前饋神經(jīng)網(wǎng)絡，能以任意精度逼近任意非線性函數(shù)，或者說可以實現(xiàn)從Rm空間到Rn空間的任意非線性映射。 對隱層的結(jié)點數(shù)，有這樣的結(jié)論：隱結(jié)點數(shù)越多，逼近

37、誤差越小，但泛化誤差越大。逼近誤差就是網(wǎng)絡對訓練樣本的輸出誤差平方和，泛化誤差就是網(wǎng)絡對測試樣本的輸出誤差平方和。因而隱結(jié)點數(shù)的選擇，應綜合考慮對逼近誤差和泛化誤差的影響，這方面的研究可查相關文獻，一般按2P+1確定(P為輸入層結(jié)點數(shù))。這里初始隱結(jié)點數(shù)取為5。 因此，實現(xiàn)本題的非線性映射，采用一個1×5×1的單隱層前饋網(wǎng)絡就行了。,一個網(wǎng)絡的訓練，不僅要給出最終訓練完成后網(wǎng)絡各層的權(quán)值矩陣和閾值矢量，還應該

38、讓設計者看到中間過程，看到圖形顯示，看到逼近誤差等等。下面是采用標準BP算法訓練網(wǎng)絡的命令文件，取名為×××.m。,⒉程序設計⑴,% 文件名：×××.m% (1)初始設置clf;figure (gcf)colordef (gcf,'none')echo onclcpause %按任意鍵看輸入數(shù)據(jù)clc % (2)輸入數(shù)

39、據(jù)X=-1:0.1:1;T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609... 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988... 0.3072 0.3960 0.3499 0.1816 -0.0312 -0.2189 -0.3201];,⒉程序設計⑵,pause %按任意鍵看X-T圖

40、clc % (3)繪X-T圖plot(X,T,'+');title('Training vectors');xlabel('input vector X');ylabel('Target vector T');pause %按任意鍵看初始化及訓練網(wǎng)絡clc % (4)初始化網(wǎng)絡n1=5;[W1,b1,W2,b2]=in

41、itff(X,n1,'tansig',T,'purelin');,⒉程序設計⑶,% (5)訓練網(wǎng)絡fpd=100; %學習過程顯示頻率mne=20000; %最大訓練步驟sse=0.001; %誤差平方和指標lr=0.01; %學習率tp=[fpd,mne,sse,lr];[W1,b1,W2,b2,te,tr]=trainbp(W1,b1,'tansig

42、',W2,b2,'purelin',X,T,tp);pause %按任意鍵看誤差相對訓練步數(shù)曲線圖Clc% (6)繪誤差平方和相對訓練步數(shù)曲線圖ploterr(tr,sse);pause %按任意鍵看函數(shù)逼近clc,% (7)函數(shù)逼近x=0.5; %訓練樣本的一個輸入t=0.3960; %訓練樣本的對應目標y=simuff(x,W1,b1,'ta

43、nsig',W2,b2,'purelin')err=y-t %檢查網(wǎng)絡對訓練樣本的逼近誤差echo off,⒊討論 ⑴隱節(jié)點數(shù)n1及訓練參數(shù)tp,⑴隱節(jié)點數(shù)n1及訓練參數(shù)tp不改變時，每次運行程序時的實際訓練次數(shù)te和實際誤差平方和pe是不同的。,下表是連續(xù)四次運行網(wǎng)絡獲得的te、pe值。,,為什么會出現(xiàn)這種現(xiàn)象呢? 網(wǎng)絡的初始值是隨機選取的，因而每次的初始值必不相同，這就使得網(wǎng)絡各神經(jīng)元的凈

44、輸入可大可小，落在傳遞函數(shù)不同的位置，因而獲得的導數(shù)值也是不同的。而權(quán)值修正公式中，δ函數(shù)正比于導數(shù)值，導數(shù)值較大時，修正量較大，故收斂也較快；反之網(wǎng)絡處于麻痹狀態(tài)，收斂較慢。 由此看來，當網(wǎng)絡訓練情況不理想時，不要急于改變各參數(shù)值，而是試著再訓練幾次，直到滿意為止。如果連續(xù)幾次訓練情況都不好，那就再考慮改變一些參數(shù)的設定。,⑵隱結(jié)點數(shù)對訓練誤差的影響,,上表給出n1＝3及n1＝8時連續(xù)四次運行結(jié)果。 當nl＝3時，連續(xù)

45、四次運行，當訓練步數(shù)達到最大值時，誤差平方和均未達到其目標值，因而可以認為，隱結(jié)點數(shù)少了。nl＝8時，情況與nl＝5時差不多，網(wǎng)絡誤差平方和均少于給定目標值。 那么，選擇nl＝5還是nl＝8呢？如前所述，隱結(jié)點數(shù)越多，訓練誤差越小，但泛化誤差越大。因此，在達到訓練誤差的前提下，隱結(jié)點數(shù)越少越好。,⑶學習率對訓練速度及穩(wěn)定性的影響,,,從圖1中可知，當學習率lr較小時，誤差穩(wěn)步下降，直到收斂；加大lr，誤差在開始急劇下降，但后期趨

46、于平坦，收斂較慢；進一步加大lr，誤差開始出現(xiàn)劇烈波動，后期趨于平坦，收斂也較慢；再加大lr，誤差除早期劇烈波動外，在規(guī)定的最大訓練次數(shù)內(nèi)不收斂。 因此，寧可選擇較小的學習率，以求穩(wěn)步收斂。,⑷過度擬合與泛化能力,假設訓練樣本的輸入為X＝[－1.0 －0.7 －0.4 －0.1 0.2 0.5 0.8]，目標為T＝X?，F(xiàn)將目標值改動一下，在部分點上加入0.5的攝動量，即T＝[－1.0 －0.2 －0.4 －0.6 0.2 1.0

47、 0.8]，觀察網(wǎng)絡逼近效果。當mne＝200時，逼近曲線如圖2。此時，pe＝0.59998，當mne＝15000時，逼近曲線如圖3，此時pe＝0.000999701。,,,可看出，當訓練次數(shù)較少時，網(wǎng)絡只學到樣本的共性，即逼近函數(shù)接近無攝動時的情況，接近一條直線，這樣，網(wǎng)絡將有較好的泛化能力。,而訓練次數(shù)加大時，網(wǎng)絡將充分擬合樣本點，從而喪失了原樣本所含的規(guī)律，這樣，網(wǎng)絡的泛化能力較差。因此，當樣本數(shù)據(jù)含有噪聲時，過分追求減小訓練誤差