人工神經(jīng)網(wǎng)絡(luò)三要素及其特點(diǎn)

1、4.1.1 人工神經(jīng)網(wǎng)絡(luò)三要素人工神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)系統(tǒng)的某種抽象、簡(jiǎn)化與模擬，是由許多并行互聯(lián)的相同神經(jīng)元模型組成。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來實(shí)現(xiàn);知識(shí)與信息存儲(chǔ)在處理單元相互間的物理連接上;網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別決定于各神經(jīng)元連接權(quán)系數(shù)的動(dòng)態(tài)演化過程。一個(gè)神經(jīng)網(wǎng)絡(luò)模型描述了一個(gè)網(wǎng)絡(luò)如何將它的輸入矢量轉(zhuǎn)化為輸出矢量的過程。通常，神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)模型的神經(jīng)元特性、拓補(bǔ)結(jié)構(gòu)和學(xué)習(xí)或訓(xùn)練規(guī)則三個(gè)要素確定。一、神經(jīng)元特性作為神經(jīng)網(wǎng)絡(luò)

2、基本單元的神經(jīng)元模型也有其三個(gè)基本要素:l)一組連接權(quán);2)一個(gè)求和單元:3)一個(gè)非線性激勵(lì)函數(shù)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是多輸入單輸出的非線性器件，其結(jié)構(gòu)模型如圖 4 一 1 所示。式中 為輸入信號(hào)， 為神經(jīng)元 j 到神經(jīng)元 k 的連接權(quán) j x ( 1,2, , ) j p ? ??? kj w ( 1,2, , ) j p ? ???值， 為線性組合結(jié)果， 為閾值。 為神經(jīng)元激勵(lì)函數(shù)， 為神經(jīng)元的輸1pk kj jj

3、u w x?? ? k ? ? k y出。1. 激活函數(shù) 激活函數(shù) (Activation Functions)(1) 線性激活函數(shù) 線性激活函數(shù)x x purelin x f ? ? ) ( ) ((2) 硬限幅激活函數(shù) 硬限幅激活函數(shù)1pk kj j kjv w x ??? ? ?? ? k k y v ? ?1 x p xj x 2 xkp wkj w 2 k w 1 k wxyyx學(xué)習(xí)進(jìn)行。學(xué)習(xí)的過程就是按某種預(yù)定的度量通過調(diào)節(jié)

4、自身參數(shù)(如權(quán)值)來達(dá)到性能改養(yǎng)的過程。學(xué)習(xí)方式有三種:(l)監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))這種學(xué)習(xí)方式需要外界存在一個(gè)“教師” ，它可對(duì)給定一組輸入提供應(yīng)有的輸出結(jié)果，這組己知的輸入一輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))根據(jù)己知輸入與實(shí)際輸出之間的差值(誤差信號(hào))來調(diào)節(jié)系統(tǒng)參數(shù)。（2）非監(jiān)督學(xué)習(xí)(無教師學(xué)習(xí))非監(jiān)督學(xué)習(xí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)，以表示出外部輸入的某種固有特性。(3)

5、再勵(lì)學(xué)習(xí)(強(qiáng)化學(xué)習(xí))這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息(獎(jiǎng)或懲)而不給出正確答案，學(xué)習(xí)系統(tǒng)通過強(qiáng)化受獎(jiǎng)的動(dòng)作來改善自身的性能。2、學(xué)習(xí)算法(l)誤差糾正學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的誤差信號(hào)為 ( ) ( ) ( ) k k k e n d n y n ? ?式中 為理想輸出， 為實(shí)際輸出。誤差糾正學(xué)習(xí)的最終目的是使某一基于誤 ( ) k d n ( ) k y n的目標(biāo)函數(shù)達(dá)到最小，使網(wǎng)絡(luò)中每個(gè)輸出單元的實(shí)際輸出在某種