第03講神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí),內(nèi)容安排一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、生物神經(jīng)元,生物神經(jīng)元突觸信息處理信息傳遞功能與特點(diǎn),1.1 生物神經(jīng)元,神經(jīng)元是大腦處理信息的基本單元人腦大約由1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干主要由細(xì)胞體、樹(shù)突、軸突和突觸(Synapse，又稱(chēng)

2、神經(jīng)鍵)組成,,生物神經(jīng)元示意圖,1.2 突觸的信息處理,生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸有兩種類(lèi)型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位,1.3 信息傳遞功能與特點(diǎn),具有時(shí)空整合能力不可逆性，脈沖只從突觸前

3、傳到突觸后，不逆向傳遞 神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間 信息傳遞時(shí)延和不應(yīng)期，一般為0.3～lms可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能 存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和,二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見(jiàn)響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu),2.1 人工神經(jīng)網(wǎng)絡(luò),直觀理解 神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般

4、由大量神經(jīng)元組成每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù),,通用模型求和操作響應(yīng)函數(shù),2.2 人工神經(jīng)元模型,,,2.2 人工神經(jīng)元模型,響應(yīng)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出,(a)閾值單元 (b)線性單元(c)(d)非線性單元：Sigmoid函數(shù),,,,

5、,2.3 常見(jiàn)神經(jīng)元響應(yīng)函數(shù),2.3 常見(jiàn)神經(jīng)元響應(yīng)函數(shù),人工神經(jīng)元的響應(yīng)函數(shù),神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式前向網(wǎng)絡(luò) (a) 從輸出到輸入有反饋的前向網(wǎng)絡(luò) (b)用來(lái)存儲(chǔ)某種模式序列層內(nèi)互連前向網(wǎng)絡(luò) (c)限制層內(nèi)同時(shí)動(dòng)作的神經(jīng)元；分組功能相互結(jié)合型網(wǎng)絡(luò) (d),2.4 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu),,,神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu),權(quán)值確定Hebb學(xué)習(xí)規(guī)

6、則誤差校正（糾錯(cuò)）學(xué)習(xí)規(guī)則相近（無(wú)教師）學(xué)習(xí)規(guī)則,三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法根據(jù)具體要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算通過(guò)學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法 學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題,3.1 權(quán)值確定,Donall Hebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接

7、加強(qiáng) a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j的輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形,,,3.2 Hebb學(xué)習(xí)規(guī)則,用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一種梯度方法不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對(duì)樣本地表示次序變化比較敏感,,,3.3 誤差校正規(guī)則,,3.3 無(wú)教師學(xué)習(xí)規(guī)則