神經(jīng)網(wǎng)絡(luò)控制及其應(yīng)用

1、實(shí)際是自動(dòng)控制理論在機(jī)械制造領(lǐng)域的應(yīng)用的一部分，最為熱門和廣泛應(yīng)用的一部分,自動(dòng)控制是在沒(méi)有人直接參與的情況下，通過(guò)控制系統(tǒng)是被控對(duì)象自動(dòng)地按照預(yù)定規(guī)律運(yùn)行的控制過(guò)程。 自動(dòng)控制系統(tǒng)是由相互聯(lián)系、相互依賴、相互作用的若干部分組成，具有控制功能的有機(jī)整體。 被控對(duì)象是指工作狀態(tài)需要給以控制的裝置、設(shè)備和過(guò)程。 給定量也稱控制量，表征被控量的希望運(yùn)行規(guī)律，也是系統(tǒng)的輸入量。

2、 擾動(dòng)量也稱干擾量，是引起被控量偏離預(yù)定運(yùn)行規(guī)律的量。 從控制理論上而不是控制方法上說(shuō)控制理論主要分兩大類經(jīng)典控制理論和現(xiàn)代控制理論。 經(jīng)典控制理論是以傳遞函數(shù)為理論基礎(chǔ)，解決單輸入、單輸出的線性控制系統(tǒng)的分析與設(shè)計(jì)問(wèn)題。 現(xiàn)代控制理論主要是以狀態(tài)方程或模糊數(shù)學(xué)、神經(jīng)網(wǎng)絡(luò)等為理論基礎(chǔ)，解決多輸入多輸出的非線性時(shí)變控制系統(tǒng)的分析與設(shè)計(jì)問(wèn)題。,基本概念,,,時(shí)變系統(tǒng)是指

3、其方程的系數(shù)是時(shí)間的函數(shù)，如宇宙飛船的控制系統(tǒng)，因?yàn)轱w船的然聯(lián)消耗和引力的變化都是時(shí)間的函數(shù)。,,系統(tǒng)是由相互聯(lián)系、相互依賴、相互制約和相互作用的若干部分組成，具有某種特定功能的有機(jī)整體。 控制系統(tǒng)是由相互聯(lián)系、相互依賴、相互制約和相互作用的若干部分組成，具有某種控制功能的有機(jī)整體。,自動(dòng)控制系統(tǒng)的分類,按系統(tǒng)組成的物理性質(zhì)分電氣控制系統(tǒng)；機(jī)械控制系統(tǒng)；流體控制系統(tǒng)；電氣—流體控制系統(tǒng)按系統(tǒng)的數(shù)學(xué)模型（微分方程）的

4、性質(zhì)分 線性定常系統(tǒng)； 線性時(shí)變系統(tǒng)；按給定量的變化規(guī)律分恒值控制系統(tǒng)；程序控制系統(tǒng)；隨動(dòng)控制系統(tǒng)按輸入、輸出信號(hào)連續(xù)性分連續(xù)系統(tǒng)；離散系統(tǒng)按控制量參數(shù)的性質(zhì)分速度控制；位置控制；力和力矩控制；混合變量控制等系統(tǒng)按系統(tǒng)有無(wú)反饋信號(hào)分開(kāi)環(huán)系統(tǒng)；閉環(huán)系統(tǒng),線性系統(tǒng),,非線性系統(tǒng),神經(jīng)網(wǎng)絡(luò)控制及其應(yīng)用,1 神經(jīng)網(wǎng)絡(luò)控制產(chǎn)生的背景,自動(dòng)控制面臨著兩個(gè)方面的技術(shù)

5、問(wèn)題（1）控制對(duì)象越來(lái)越復(fù)雜，存在著多種不確定（隨機(jī)性）和難以確切描述的非線性。（2）對(duì)控制系統(tǒng)的要求越來(lái)越高，迫切要求提高控 制系統(tǒng)的智能化水平，即系統(tǒng)具有邏輯思維和推理判斷的能力。,,神經(jīng)網(wǎng)絡(luò)為處理和解決上述問(wèn)題提供了一條新的途徑 （1）神經(jīng)網(wǎng)絡(luò)源于對(duì)腦神經(jīng)的模擬，所以具有很強(qiáng)的適應(yīng)于復(fù)雜環(huán)境和多目標(biāo)控制要求的自學(xué)習(xí)能力。（2）具有以任意精度逼近任意非線性連續(xù)函數(shù)的特性。,神經(jīng)網(wǎng)絡(luò)的應(yīng)用,航空:高性能飛行器自動(dòng)駕駛、飛

6、行路徑模擬、飛行部件模擬、飛行部件故障檢測(cè)…,汽車:汽車自動(dòng)導(dǎo)航儀…,國(guó)防:武器操縱、目標(biāo)跟蹤、面部識(shí)別、雷達(dá) 和圖像信號(hào)處理、新型傳感器、聲納…,制造：生產(chǎn)流程控制、過(guò)程和機(jī)器診斷、機(jī)器性能分析、化工流程動(dòng)態(tài)建模、項(xiàng)目投標(biāo)…,機(jī)器人：軌道控制、操作手控制、視覺(jué)系統(tǒng)…,語(yǔ)音：語(yǔ)音識(shí)別、語(yǔ)音壓縮…,還有金融、保險(xiǎn)、銀行、醫(yī)療、交通、電訊、電子、石油天然氣、有價(jià)證券、娛樂(lè)等行業(yè)。,3 生物學(xué)的啟示,4 人工神經(jīng)元,,,輸入

7、 輸出,軸突,細(xì)胞體,樹(shù)突,樹(shù)突,,,,,,,,,,為簡(jiǎn)便起見(jiàn)，也可把網(wǎng)絡(luò)的閾值以連接數(shù)值的形式表示出來(lái)，即令，則,式中 —為其它神經(jīng)元傳至本神經(jīng)元的輸入信號(hào)， —神經(jīng)元j的閾值，此閾值決定了該神經(jīng)元的興奮與否； —表示從神經(jīng)元i到神經(jīng)元j的連接權(quán)值； —稱為激勵(lì)函數(shù)（也有稱為響應(yīng)函數(shù)或傳輸函數(shù)）。,權(quán)值表示相鄰的神經(jīng)元相互連接的程度閾值即決定神經(jīng)元的興奮與否，決

8、定興奮與抑制激勵(lì)函數(shù)可為線性函數(shù)也可為非線性函數(shù)。它是用來(lái)實(shí)現(xiàn)輸入對(duì)輸出函數(shù)關(guān)系的靜態(tài)映射，它決定了神經(jīng)元的單元特性。,,,,,,常用的神經(jīng)元非線性函數(shù),,（1）階躍函數(shù),,（2）Sgn函數(shù),,（3）S狀函數(shù),4 神經(jīng)網(wǎng)絡(luò)模型的組成,4.1．神經(jīng)網(wǎng)絡(luò)連接的結(jié)構(gòu)形式,神經(jīng)元網(wǎng)絡(luò)中神經(jīng)元是分層排列，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接，分為輸入層，隱含層（一層或多層）和輸出層。,（1）前向網(wǎng)絡(luò),（2）反饋前向網(wǎng)絡(luò),網(wǎng)絡(luò)本身是前向型，但從輸

9、出到輸入有反饋。,圖7 反饋前向網(wǎng)絡(luò),圖8 互連網(wǎng)絡(luò),（3）互連網(wǎng)絡(luò),任意兩個(gè)神經(jīng)元之間都可能有連接，因此輸入信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞。,4.2．BP網(wǎng)絡(luò)的結(jié)構(gòu),BP網(wǎng)絡(luò)是一單向傳播的多層前向網(wǎng)絡(luò)，其結(jié)構(gòu)圖如圖6所示BP網(wǎng)絡(luò)可看成是一從輸入到輸出的高度非線性映射網(wǎng)絡(luò)。,（1）輸入層神經(jīng)元數(shù) （2）隱含層神經(jīng)元數(shù) （3）隱含層數(shù)的確定 （4）輸出層神經(jīng)元數(shù)的確定,BP網(wǎng)絡(luò)各層的神經(jīng)元數(shù)（即節(jié)點(diǎn)數(shù)）及隱含層層數(shù)的確定如下

10、：,5 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)確定之后，關(guān)鍵問(wèn)題是設(shè)計(jì)一個(gè)學(xué)習(xí)速度快，收斂性好的學(xué)習(xí)算法。,要求網(wǎng)絡(luò)本身必須具有學(xué)習(xí)功能，即能夠從示教模式的學(xué)習(xí)中逐漸調(diào)整權(quán)值，使網(wǎng)絡(luò)整體具有近似函數(shù)或處理信息的功能。,（1）有教師學(xué)習(xí) （2）無(wú)教師學(xué)習(xí),5.1．網(wǎng)絡(luò)學(xué)習(xí)方式,廣泛應(yīng)用的有教師學(xué)習(xí)的算法——BP（Back Propagation）算法,BP算法即是誤差反向傳播算法，該方法已成為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最常用的方法之一。BP算法一

11、般是應(yīng)用梯度下降原理，樣本輸入信號(hào)在神經(jīng)網(wǎng)絡(luò)中正向傳播，應(yīng)用了多層前向神經(jīng)網(wǎng)絡(luò)具有的以任意精度逼近非線性函數(shù)的能力。而網(wǎng)絡(luò)輸出與樣本給定輸出值之差（誤差）在網(wǎng)絡(luò)中是反向傳播，用于網(wǎng)絡(luò)的權(quán)值的訓(xùn)練。,輸出層LC,隱含層LB,輸入層LA,Wpq,Wpj,Wp1,Wiq,Wij,Wi1,W1q,W1j,Vnp,Vni,Vn1,Vhp,Vhi,Vh1,V1p,V1i,W11,V11,a1,ah,an,b1,bi,bp,c1,cj,cq,,,,,

12、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,圖9 基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),5.2．網(wǎng)絡(luò)的計(jì)算,對(duì)BP控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，首先要提供訓(xùn)練樣本，樣本可以形式化為樣本對(duì)或稱模式對(duì) ( )其中Ak為第k個(gè)樣本的輸入模式 ( ) Ck為希望輸出模式 ( )它們分別對(duì)應(yīng)于LA層的n個(gè)神經(jīng)元和Lc層的q個(gè)神經(jīng)元。當(dāng)網(wǎng)絡(luò)的實(shí)際輸出與希望

13、輸出一致時(shí)，學(xué)習(xí)過(guò)程結(jié)束。否則學(xué)習(xí)系統(tǒng)將根據(jù)實(shí)際輸出和希望輸出之間的誤差，通過(guò)調(diào)整連接權(quán)值使網(wǎng)絡(luò)的實(shí)際輸出趨向于希望輸出。,,,,BP網(wǎng)絡(luò)樣本輸入學(xué)習(xí)算法程序框圖如圖10所示。并以圖11三層（LA，LB，LC）BP神經(jīng)網(wǎng)絡(luò)為例進(jìn)行學(xué)習(xí)過(guò)程的演示。,三層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),W11,V11,b1,,,,,,,圖11 三層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),BP三層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法各種參數(shù)及計(jì)算公式見(jiàn)表1。,層名,學(xué)習(xí)訓(xùn)練步驟如下：第1步：網(wǎng)絡(luò)初始化

14、輸入層LA到隱含層LB的權(quán)值矩陣為,,隱含層LB到輸出層LC權(quán)值矩陣為,,隱含層LB各神經(jīng)元閾值為,,輸出層LC­各神經(jīng)元閾值為,,以一個(gè)樣本對(duì)即k=1為例，樣本輸入 ，樣本輸出 。,,,第2步：樣本正向輸入，進(jìn)行前向計(jì)算,輸入樣本為 , 其輸入層的輸出為a1和a2。對(duì)于輸入層，給定每個(gè)神經(jīng)元的權(quán)值 為1，閾值為0，其激

15、勵(lì)函數(shù)為S型函數(shù)，則,,,,第1個(gè)神經(jīng)元的輸出值為,,則,,根據(jù)（8）式計(jì)算網(wǎng)絡(luò)LB層某一神經(jīng)的加權(quán)輸入為,,bi的實(shí)際輸出根據(jù)（9）式和（26）式為,,根據(jù)（7）式求激勵(lì)函數(shù)為S型情況下的b值為,,則,,根據(jù)（5）式 計(jì)算第k=1樣本對(duì)LC層神經(jīng)元的加權(quán)輸入為,,,,根據(jù)（6）式 求LC層神經(jīng)元的實(shí)際輸出值,,,則,,,第3步：進(jìn)行誤差計(jì)算,根據(jù)（14）式

16、 和樣本期量值進(jìn)行輸出層LC誤差計(jì)算,,,,則,,通過(guò)給定的精度系數(shù)可判斷輸出層LC的誤差值d是否滿足要求，如果不滿足，則需進(jìn)行反向傳播計(jì)算，通過(guò)修正權(quán)值和閾值使其逼近給定精度系數(shù)。,,第4步：反向傳播計(jì)算（1）隱含層LB一般化誤差的計(jì)算根據(jù)（19）式 計(jì)算隱含層LB一般化誤差為,,,,則,,（2）隱含層Lb和輸出層Lc權(quán)值的調(diào)整根據(jù)（20）式 調(diào)整其LB至LC權(quán)值，則按學(xué)習(xí)步長(zhǎng)（也

17、稱學(xué)習(xí)率）的范圍： 給定 。,,,,,則,,根據(jù)（21）式 調(diào)整LA至LB權(quán)值,則,,按步長(zhǎng)范圍： ,給定,,,,則,,（3）網(wǎng)絡(luò)輸出層Lc和隱含層Lb閾值的調(diào)整值計(jì)算,根據(jù)（22）式 調(diào)整Lc層閾值,,,則,,根據(jù)（23）式 調(diào)整LB層閾值為,,,,則,,（4）計(jì)算調(diào)整后的權(quán)值和閾值隱含層LB至輸出層LC的權(quán)值，

18、由（25）和（34）式得,,,,輸入層LA至隱含層LB的權(quán)值，由（24）和（35）式得,,,,,輸出層LC閾值根據(jù)（27）和（36）式得,,,,隱含層LB閾值，根據(jù)（26）和（37）式得,,經(jīng)過(guò)上述計(jì)算在輸出層LC的誤差值d未滿足精度要求的情況下，完成了第1次權(quán)值和閾值的調(diào)整訓(xùn)練。經(jīng)反向計(jì)算調(diào)整后需按程序框圖12的流程和上述計(jì)算方法再計(jì)算輸出層LC誤差值d，其運(yùn)算過(guò)程不再全部列出，只是直接給出將調(diào)整后LB層和LC層的輸出值和誤差值 。,

19、,,LB層的輸出值,,LB層的誤差值,,LC層的輸出值,,LC層的誤差值,,在此根據(jù)LC層的誤差值d判斷是否滿足給定的精度系數(shù)，如果不滿足再進(jìn)行第2次的循環(huán)調(diào)整，再?gòu)牡?步開(kāi)始運(yùn)行，以后為了簡(jiǎn)化只給出調(diào)整結(jié)果。,·第2次循環(huán)調(diào)整,LC層至LB層的權(quán)值調(diào)整,,,LB層至LA層的權(quán)值調(diào)整,,,LC層閾值的調(diào)整,,,LB層閾值的調(diào)整,,,LB層的輸出值,LB層的誤差值,,,,第3次循環(huán)調(diào)整,LC層至LB層的權(quán)值調(diào)整,,,LB層至LA

20、層的權(quán)值調(diào)整,,,LC層閾值的調(diào)整,,,LB層閾值的調(diào)整,,,LB層的輸出值,,LB層的誤差值,,,LC層的輸出值,,LC層的誤差值,,第999次循環(huán)調(diào)整,LC層至LB層的權(quán)值調(diào)整,,LB層至LA層的權(quán)值調(diào)整,,,LC層的閾值為,,LB層的閾值為,,LB層的輸出值,LB層的誤差值,,,LC層的輸出值,LC層的誤差值,,,,,BP神經(jīng)網(wǎng)絡(luò)樣本輸入信號(hào)正向傳播和誤差反向傳播的過(guò)程，就是在不斷地調(diào)整權(quán)值和閾值的過(guò)程，可以使網(wǎng)絡(luò)以任意精度逼近任