畢業(yè)設(shè)計(jì)論文---人工神經(jīng)網(wǎng)絡(luò)

1、<p><b>　　目 錄</b></p><p><b>　　目錄1</b></p><p><b>　　第一章緒論3</b></p><p>　　第二章神經(jīng)網(wǎng)絡(luò)4</p><p>　　2.1神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用4</p><p&

2、gt;　　2.1.1神經(jīng)網(wǎng)絡(luò)的產(chǎn)生4</p><p>　　2.1.2神經(jīng)網(wǎng)絡(luò)的發(fā)展5</p><p>　　2.1.3神經(jīng)網(wǎng)絡(luò)的應(yīng)用6</p><p>　　2.2人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)原理7</p><p>　　2.2.1 人工神經(jīng)元7</p><p>　　2.2.2人工神經(jīng)網(wǎng)絡(luò)的基本原理及構(gòu)成8</p>

3、;<p>　　2.2.3幾種典型的神經(jīng)網(wǎng)絡(luò)簡介8</p><p>　　2.3神經(jīng)網(wǎng)絡(luò)的相關(guān)知識(shí)10</p><p>　　2.3.1人工神經(jīng)網(wǎng)絡(luò)的基本特征10</p><p>　　2.3.2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式11</p><p>　　2.3.3人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)及應(yīng)用舉例12</p><p>　　

4、2.3.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展前景13</p><p>　　第三章 BP網(wǎng)絡(luò)14</p><p>　　3.1 BP 算法14</p><p>　　3.1.1 BP算法的主要思想14</p><p>　　3.1.2 BP算法的組成14</p><p>　　3.1.3 BP網(wǎng)絡(luò)的一般學(xué)習(xí)算法15</p&g

5、t;<p>　　3.2 BP學(xué)習(xí)算法的局限性與對(duì)策17</p><p>　　3.2.1 BP學(xué)習(xí)算法存在的局限性17</p><p>　　3.2.2克服BP學(xué)習(xí)算法的對(duì)策18</p><p>　　3.3對(duì)BP算法的改進(jìn)21</p><p>　　3.3.1改進(jìn)誤差函數(shù)21</p><p>　　3.

6、3.2改進(jìn)激勵(lì)函數(shù)22</p><p>　　3.3.3改進(jìn)優(yōu)化算法23</p><p>　　第四章 手寫數(shù)字識(shí)別24</p><p>　　4.1 模式識(shí)別24</p><p>　　4.1.1模式和模式識(shí)別的概念24</p><p>　　4.1.2模式識(shí)別系統(tǒng)的構(gòu)成25</p><p>

7、;　　4.2手寫體數(shù)字識(shí)別26</p><p>　　4.2.1課題概述26</p><p>　　4.2.2手寫體數(shù)字識(shí)別的主要方法27</p><p>　　4.2.3手寫數(shù)字識(shí)別的一般方法及其難點(diǎn)29</p><p>　　4.2.4聯(lián)機(jī)字符識(shí)別原理30</p><p>　　4.2.5預(yù)處理及模板的建立31&

8、lt;/p><p>　　4.2.6樣本集對(duì)識(shí)別結(jié)果的影響33</p><p>　　4.2.7程序?qū)崿F(xiàn)36</p><p>　　第五章軟件開發(fā)環(huán)境39</p><p>　　5.1 軟件開發(fā)平臺(tái)39</p><p>　　5.2Visual C++的組成39</p><p>　　5.3Visu

9、al C++的特點(diǎn)40</p><p><b>　　致謝43</b></p><p><b>　　參考文獻(xiàn)44</b></p><p><b>　　第一章 緒論</b></p><p>　　二十多年來，人們?cè)跀?shù)字識(shí)別領(lǐng)域做了大量的研究工作，所提出的各種方法在印刷體和手寫

10、印刷體數(shù)字識(shí)別方面已經(jīng)取得了較好的成績，識(shí)別率穩(wěn)定在96%左右。但是自由手寫體數(shù)字的識(shí)別工作目前尚處于探索性階段，仍舊是文字識(shí)別中最有挑戰(zhàn)性的課題之一。</p><p>　　字符識(shí)別長期以來都是采用傳統(tǒng)的識(shí)別方法，對(duì)印刷體字符的識(shí)別率一般只是穩(wěn)定在96％左右，不能進(jìn)一步提高；而對(duì)手寫體字符的識(shí)別，其研究還處于探索階段，其識(shí)別率還相當(dāng)?shù)?，因此，為了提高識(shí)別率，就必須尋求新的方法和途徑。</p><

11、;p>　　揭示與模擬人腦神經(jīng)系統(tǒng)機(jī)理是研制新一代智能計(jì)算機(jī)的關(guān)鍵之一。進(jìn)入九十年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN）技術(shù)發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學(xué)習(xí)、記憶、推理等認(rèn)知功能的新方法。特別是它的信息并行分布式處理能力和自學(xué)習(xí)功能等顯著優(yōu)點(diǎn)，更是激起了人們對(duì)它的極大的興趣。為模式識(shí)別開辟了新的途徑，成了模擬人工智能的一種重要方法。</p><p>　　人工神經(jīng)網(wǎng)絡(luò)是由一些類似人腦神

12、經(jīng)元的簡單處理單元相互連接而成的復(fù)雜網(wǎng)絡(luò)。已涌現(xiàn)出許多不同類型的ANN及相應(yīng)的學(xué)習(xí)算法，其中BP（或EBP-Error Back Propagation）網(wǎng)絡(luò)及學(xué)習(xí)算法得到了廣泛關(guān)注和研究，并在模式識(shí)別與分類、機(jī)器人控制、數(shù)據(jù)壓縮等領(lǐng)域取得了許多有意義的應(yīng)用成果。</p><p>　　在認(rèn)真地研究了精神網(wǎng)絡(luò)的基本原理和機(jī)制的基礎(chǔ)上，結(jié)合手寫體數(shù)字識(shí)別這一具體課題，提出了用精神網(wǎng)絡(luò)方法來實(shí)現(xiàn)手寫體數(shù)字識(shí)別的方案。在

13、自由手寫體數(shù)字識(shí)別方面，許多研究工作者使用ANN 技術(shù)做了不少嘗試，有了較大的進(jìn)展。</p><p><b>　　第二章神經(jīng)網(wǎng)絡(luò)</b></p><p>　　2.1神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用</p><p>　　2.1.1神經(jīng)網(wǎng)絡(luò)的產(chǎn)生</p><p>　　現(xiàn)代計(jì)算機(jī)有著很強(qiáng)的計(jì)算和信息處理能力，但是它解決像模式識(shí)別、感知、

14、評(píng)判和決策等復(fù)雜問題的能力卻遠(yuǎn)不如人，特別是它只能按人事先編好的程序機(jī)械地執(zhí)行。人是地球上具有最高智慧的生物，人腦在處理語言理解、模式識(shí)別等方面問題時(shí)具有現(xiàn)有計(jì)算機(jī)無法比擬的優(yōu)越性。長期以來，很多科學(xué)家一直在致力于人腦的內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)。</p><p>　　人的大腦可以在幾秒內(nèi)判斷出人在一個(gè)動(dòng)態(tài)的十字路口是否應(yīng)該過馬路，而若要計(jì)算機(jī)來做這個(gè)工作，其計(jì)算量大到幾乎不可能做

15、到。一個(gè)三歲小孩可以輕而易舉地從一堆照片中找出自己的父母親來，而若要計(jì)算機(jī)來完成這個(gè)任務(wù)，其計(jì)算量同樣大的驚人。人腦具有的自組織功能、聯(lián)想功能及容錯(cuò)性都是計(jì)算機(jī)所不具備的。</p><p>　　盡管目前人們對(duì)大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、運(yùn)行機(jī)制，甚至單個(gè)神經(jīng)細(xì)胞的工作原理的細(xì)節(jié)了解還比較膚淺，但人們可以根據(jù)選擇已有的大腦微觀組成（神經(jīng)元）及大腦的宏觀功能兩方面的知識(shí)來構(gòu)造人工精神網(wǎng)絡(luò)系統(tǒng)，模擬大腦的某些功能。這正如人類在

16、模擬鳥的飛行過程中造出了飛機(jī)一樣，產(chǎn)生了以模仿人腦功能為目的，涉及到生物、生理、控制論、數(shù)學(xué)及光電子信息等科學(xué)的綜合科學(xué)——人工精神網(wǎng)絡(luò)。</p><p>　　人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱NN或ANN），是一門發(fā)展十分迅速的交叉學(xué)科，它涉及到生物、計(jì)算機(jī)、數(shù)學(xué)、電子、物理、心理學(xué)、認(rèn)知科學(xué)等許多學(xué)科。簡單來說就是為模仿人腦工作方式而設(shè)計(jì)一種機(jī)器，它可用電子或光電元件實(shí)現(xiàn)

17、，也可以用軟件在常規(guī)計(jì)算機(jī)上仿真，具有通過學(xué)習(xí)獲取知識(shí)并解決問題的能力。</p><p>　　2.1.2神經(jīng)網(wǎng)絡(luò)的發(fā)展</p><p>　　對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究早在40年代就已開始，1943年，心理學(xué)家麥卡洛克（W.S.McCulloch）和數(shù)學(xué)家皮茨（W.Pitts）根據(jù)動(dòng)物神經(jīng)元的生理特點(diǎn)，合作提出了神經(jīng)元的數(shù)學(xué)模型，稱為MP模型，如圖1－1所示。開創(chuàng)了從信息處理的觀點(diǎn)出發(fā)，采用數(shù)理模

18、型的方法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行研究的先例。但是在此之后的一個(gè)長時(shí)期內(nèi)馮·諾依曼計(jì)算機(jī)取得了突飛猛進(jìn)的發(fā)展，而神經(jīng)網(wǎng)絡(luò)的研究卻沒有取得長足進(jìn)展。</p><p>　　50年代中期，由于感知機(jī)（Perceptron）及其學(xué)習(xí)算法獲得局部成功，曾風(fēng)行一時(shí)。但很快又因感知機(jī)分類能力的局限性而轉(zhuǎn)入低潮。</p><p>　　經(jīng)過近20年的沉默和少數(shù)先驅(qū)者的艱苦努力，到80年代初又重新興起。一方面是

19、由于傳統(tǒng)的人工智能方法在解決像視覺處理、語言理解等方面問題時(shí)陷于困境；另一方面，神經(jīng)網(wǎng)絡(luò)的一些研究成果有了很大的突破。1982年，美國物理學(xué)家霍普菲爾德（Hopfield）提出了一種新的精神網(wǎng)絡(luò)模型，引入“能量”函數(shù)，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明顯的依據(jù)。特別是這種模型所具有的聯(lián)想記憶、分類與誤差自動(dòng)校正等智能功能，尤其引起人們的興趣。1984年，霍普菲爾德將這種模型用簡明模擬電子電路實(shí)現(xiàn)，并應(yīng)用于目前電子計(jì)算機(jī)尚難于解決的著名的“巡回推銷

20、員問題（TSP，Travel Salesmen Problem）”，獲得了很好的答案。Dvaid Rumelhart等人發(fā)表了PDP（Parallel Distribution Processing）理論，提出了誤差反向傳播（Error Back Propagation）學(xué)習(xí)方法，使得原以為不可能的多層網(wǎng)絡(luò)的學(xué)習(xí)問題得到了解決。此后，在美國、日本、歐洲掀起了一股神經(jīng)網(wǎng)絡(luò)研究熱潮。</p><p>　　現(xiàn)在，ANN

21、已經(jīng)成為諸多科學(xué)與技術(shù)學(xué)科共同關(guān)注的重大課題，神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域。不同領(lǐng)域的科學(xué)家和技術(shù)學(xué)家從各自學(xué)科的興趣和特色出發(fā)，提出不同的問題，從不同的角度著手研究，解決自己領(lǐng)域內(nèi)的種種問題。</p><p>　　2.1.3神經(jīng)網(wǎng)絡(luò)的應(yīng)用</p><p>　　人工神經(jīng)網(wǎng)絡(luò)在應(yīng)用上已迅速擴(kuò)展到許多重要領(lǐng)域。</p><p><b>　　模式識(shí)別與圖像處理

22、</b></p><p>　　印刷體和手寫體字符識(shí)別，語音識(shí)別，簽字識(shí)別，指紋識(shí)別，人臉識(shí)別，癌細(xì)胞檢測，心電圖和腦電圖分類，RNA和DNA識(shí)別，油氣貯藏勘測，加速器事故檢測，目標(biāo)檢測與識(shí)別，圖像壓縮，圖像復(fù)原等。</p><p><b>　　控制與優(yōu)化</b></p><p>　　化工過程控制，機(jī)械手運(yùn)動(dòng)，電弧爐電極控制，半導(dǎo)體生

23、產(chǎn)中摻雜控制，石油精煉和食品工業(yè)中優(yōu)化控制，VLSI（超大規(guī)模集成電路）布線設(shè)計(jì)等。</p><p><b>　　預(yù)測與管理</b></p><p>　　股票市場預(yù)測，有價(jià)證券管理，信貸風(fēng)險(xiǎn)分析，信用卡管理，機(jī)票管理。</p><p><b>　　通信</b></p><p>　　自適應(yīng)均衡，回波抵

24、消，路由選擇，ATM網(wǎng)絡(luò)中的呼叫接納識(shí)別及控制等。</p><p>　　其它應(yīng)用如導(dǎo)航，光學(xué)望遠(yuǎn)鏡聚焦，運(yùn)載體軌跡控制，電機(jī)故障檢測以及多媒體技術(shù)等。</p><p>　　2.2人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)原理</p><p>　　神經(jīng)元（neuron或neurone）是神經(jīng)系統(tǒng)內(nèi)直接從事信息的接收或產(chǎn)生、傳遞以及處理工作的神經(jīng)細(xì)胞。對(duì)大腦神經(jīng)元的研究表明，當(dāng)其處于興奮狀態(tài)時(shí)，

25、輸出側(cè)的軸突就會(huì)發(fā)出脈沖信號(hào)，每個(gè)神經(jīng)元的樹狀突起與來自其他神經(jīng)元軸突的互相結(jié)合部（此結(jié)合部稱為Synapse，即突觸），接收由軸突傳來的信號(hào)。如果一神經(jīng)元所接收到的信號(hào)的總和超過了它本身的“闕值”，則該神經(jīng)元就會(huì)處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號(hào)。人腦大約由1011～1012個(gè)神經(jīng)元組成，人工神經(jīng)網(wǎng)絡(luò)是由多個(gè)神經(jīng)元按照一定的排列順序構(gòu)成的。神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元。</p><p>　　2.

26、2.1 人工神經(jīng)元</p><p>　　圖2-1為人工神經(jīng)元模型，X為該神經(jīng)元接受到的來自其它神經(jīng)元的輸出信息，W為聯(lián)接強(qiáng)度，U為內(nèi)部狀態(tài)，θ是闕值，S為外部輸入信號(hào)。它有三個(gè)基本要素：</p><p>　　（1）一組連接權(quán)（對(duì)應(yīng)于生物神經(jīng)元的突觸），連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激勵(lì)，為負(fù)表示抑制。</p><p>　　（2）一個(gè)求和單元，用于求取各輸

27、入信息的加權(quán)和（線性組合）。</p><p>　　（3）一個(gè)非線性激勵(lì)函數(shù)，起非線性映射作用并限制神經(jīng)元輸出幅度在一定的范圍之內(nèi)（一般限制在[0，1]或[－1，＋1]之間。此外還有闕值θk（或偏置bk=－θk）。以上作用可以用數(shù)學(xué)式表達(dá)為：</p><p><b>　　j</b></p><p>　　人工神經(jīng)元具有多個(gè)輸入和一個(gè)輸出，每一個(gè)輸入

28、都是前一層神經(jīng)元的輸出，并且每一個(gè)輸入都又可以改變的權(quán)重，輸入加權(quán)求和后通過一定的函數(shù)關(guān)系輸出。對(duì)應(yīng)于人體生理神經(jīng)系統(tǒng)的概念是：神經(jīng)元的每一輸入為相關(guān)神經(jīng)元的軸突輸出，輸入的權(quán)重為本神經(jīng)元與相關(guān)神經(jīng)元的突觸的聯(lián)接強(qiáng)度，并且權(quán)重的值可正可負(fù)，正表示興奮性突觸，負(fù)表示抑制性突觸。神經(jīng)元在輸入信號(hào)作用下產(chǎn)生輸出信號(hào)的規(guī)律由神經(jīng)元功能函數(shù)給出，這是神經(jīng)元模型的外特性。由于神經(jīng)元功能函數(shù)形式的不同，形成了多種多樣的神經(jīng)元模型。</p>

29、<p>　　2.2.2人工神經(jīng)網(wǎng)絡(luò)的基本原理及構(gòu)成</p><p>　　一般而言，神經(jīng)元功能函數(shù)有簡單映射、動(dòng)態(tài)系統(tǒng)方程、概率統(tǒng)計(jì)模型和多項(xiàng)式闕值函數(shù)模型四類。簡單映射是神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元輸入與輸出具有一種簡單的線性或者非線性的函數(shù)關(guān)系。動(dòng)態(tài)系統(tǒng)方程反映了網(wǎng)絡(luò)的動(dòng)態(tài)特性，其輸入與輸出具有時(shí)延關(guān)系。概率統(tǒng)計(jì)模型描述神經(jīng)元輸入與輸出之間不存在確定關(guān)系，而是一個(gè)隨機(jī)函數(shù)，多項(xiàng)式闕值函數(shù)模型反映輸入信號(hào)自身

30、相關(guān)性，它表征神經(jīng)元輸入與輸出之間不但存在一階函數(shù)關(guān)系，而且還存在著輸出與多個(gè)輸入的乘積之間的關(guān)系。</p><p>　　神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的互聯(lián)系統(tǒng)，神經(jīng)元之間的連接模式種類繁多，形成了多種人工神經(jīng)網(wǎng)絡(luò)模型。</p><p>　　2.2.3幾種典型的神經(jīng)網(wǎng)絡(luò)簡介</p><p>　　現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)模型已經(jīng)不下百種。隨著應(yīng)用研究的不斷深入，新的人工神經(jīng)網(wǎng)絡(luò)模型也

31、在不斷推出。其中最具代表性的人工神經(jīng)網(wǎng)絡(luò)模型有多層前饋網(wǎng)絡(luò)（MLP），Hopfield神經(jīng)網(wǎng)絡(luò)（HNN），隨機(jī)神經(jīng)網(wǎng)絡(luò)和自組織神經(jīng)網(wǎng)絡(luò)。</p><p>　?。?）多層前饋網(wǎng)絡(luò)及BP算法</p><p>　　自從1985年Rosenblatt提出了反向傳播（BP）算法以來，前饋網(wǎng)絡(luò)的研究取得了重大進(jìn)展。但是人工神經(jīng)網(wǎng)絡(luò)硬件芯片的進(jìn)展還十分緩慢，大部分工作是在計(jì)算機(jī)上對(duì)標(biāo)準(zhǔn)BP算法進(jìn)行改進(jìn)。

32、目前，在天氣預(yù)報(bào)、行情預(yù)測、數(shù)學(xué)分類、建筑設(shè)計(jì)等領(lǐng)域得到了廣泛的應(yīng)用。</p><p>　　（2）Hopfield神經(jīng)網(wǎng)絡(luò) （HNN）</p><p>　　Hopfield神經(jīng)網(wǎng)絡(luò)是一種帶有反饋的動(dòng)力學(xué)系統(tǒng)，它分離散和連續(xù)兩種模型。離散模型可以用一種加權(quán)無向圖來表示，它多應(yīng)用于聯(lián)想存儲(chǔ)、模式識(shí)別與優(yōu)化計(jì)算。連續(xù)模型引入了能量函數(shù)的概念，使求解優(yōu)化組合問題轉(zhuǎn)化為求解能量最小問題。其思想是將求

33、解的問題表達(dá)為一個(gè)動(dòng)力學(xué)系統(tǒng)（即神經(jīng)網(wǎng)絡(luò)），并研究其收斂性，構(gòu)造一種合適的能量函數(shù)，使其最小值點(diǎn)對(duì)應(yīng)于優(yōu)化組合問題的最佳解。目前研究的焦點(diǎn)是構(gòu)造一種符合問題的能量函數(shù)以求解不同的問題，其中最著名的旅行商（TSP）問題，八皇后問題都是利用連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)求解，并得到了滿意結(jié)果。</p><p>　　（3）隨機(jī)神經(jīng)網(wǎng)絡(luò)與模擬退火算法</p><p>　　1983年Hinton等提出

34、的Boltzmann機(jī)是隨機(jī)神經(jīng)網(wǎng)絡(luò)模型的典型代表。它可以看成Hopfield聯(lián)想記憶模型的推廣，與Hopfield網(wǎng)絡(luò)不同的是，它是具有概率狀態(tài)隨機(jī)轉(zhuǎn)移機(jī)制而Hopfield是確定性的。此外，Boltzmann機(jī)還允許含有隱單元來捕獲學(xué)習(xí)中的高階規(guī)則。目前常用的算法有模擬退火算法和快速模擬退火算法及一些改進(jìn)算法，利用Boltzmann機(jī)，主要應(yīng)用于優(yōu)化計(jì)算，由于引入一定程度的隨機(jī)性擾動(dòng)，以保證系統(tǒng)從局部極小中爬出來，找到全局極小，即得

35、到全局最優(yōu)。</p><p>　?。?）自組織神經(jīng)網(wǎng)絡(luò)</p><p>　　自組織神經(jīng)網(wǎng)絡(luò)是一類無教師監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)，它的兩個(gè)核心是自適應(yīng)共振理論（ART）和自組織特征映射。由于這類網(wǎng)絡(luò)具有無教師監(jiān)督學(xué)習(xí)的特點(diǎn)，因此它可以實(shí)時(shí)學(xué)習(xí)，并可適應(yīng)非平穩(wěn)的環(huán)境。目前，主要工作是對(duì)自適應(yīng)算法進(jìn)行研究。實(shí)際應(yīng)用中，自組織特征映射網(wǎng)絡(luò)主要用于自聯(lián)想最臨近分類器。</p><p>

36、　　2.3神經(jīng)網(wǎng)絡(luò)的相關(guān)知識(shí)</p><p>　　2.3.1人工神經(jīng)網(wǎng)絡(luò)的基本特征</p><p>　　人工神經(jīng)網(wǎng)絡(luò)是一種模仿人類神經(jīng)系統(tǒng)的數(shù)學(xué)模型，是在現(xiàn)代腦神經(jīng)科學(xué)基礎(chǔ)上提出來的，它反映了人腦功能的基本特性。但它并不是人腦的真實(shí)描寫，而只是它的某種抽象、簡化和模擬。人工神經(jīng)網(wǎng)絡(luò)這些特點(diǎn)使得它不同于一般計(jì)算機(jī)和人工智能。</p><p>　　（1）人工神經(jīng)網(wǎng)絡(luò)為廣

37、泛連接的巨型系統(tǒng)。神經(jīng)科學(xué)研究表明，人類中樞神經(jīng)的主要部分大腦皮層由1011～1012個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元共有101～105個(gè)突觸，突觸為神經(jīng)元之間的結(jié)合部，決定神經(jīng)元之間的連接強(qiáng)度與性質(zhì)。這表明大腦皮層是一個(gè)廣泛連接的巨型復(fù)雜系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)的連接機(jī)制模仿了人腦的這一特性。</p><p>　?。?）人工神經(jīng)網(wǎng)絡(luò)有其并行結(jié)構(gòu)和并行處理機(jī)制。人工神經(jīng)網(wǎng)絡(luò)不但結(jié)構(gòu)上是并行的，它的處理順序也是并行的和同時(shí)的。在

38、同一層內(nèi)處理單元都是同時(shí)操作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個(gè)處理單元上。</p><p>　?。?）人工神經(jīng)網(wǎng)絡(luò)具有分布式結(jié)構(gòu)。在神經(jīng)網(wǎng)絡(luò)中，知識(shí)不是存儲(chǔ)在特定的存儲(chǔ)單元中，而是分布在整個(gè)系統(tǒng)中，要存儲(chǔ)多個(gè)知識(shí)就需要很多連接。而存儲(chǔ)知識(shí)的獲得采用“聯(lián)想”的辦法，這類似人類和動(dòng)物的聯(lián)想記憶。當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)輸入一個(gè)激勵(lì)時(shí)，它要在已存儲(chǔ)的知識(shí)中尋找與輸入匹配最好的存儲(chǔ)知識(shí)為其解。聯(lián)想記憶有兩個(gè)主要特點(diǎn)：一是具有存儲(chǔ)大

39、量復(fù)雜圖形的能力（像語音的樣本可視為圖像，其它像機(jī)器人的活動(dòng)，時(shí)空?qǐng)D形的狀態(tài)，社會(huì)的情況等），一是可以很快地將新的輸入圖形歸并分類為已存儲(chǔ)圖形的某一類。</p><p>　?。?）人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的容錯(cuò)性。大腦具有很強(qiáng)的容錯(cuò)能力。我們知道，每天都有大腦細(xì)胞自動(dòng)死去，但并沒有影響人們的記憶和思考能力。這正是由于大腦中知識(shí)是存儲(chǔ)在很多處理單元和它們的連接上的結(jié)果。人工神經(jīng)網(wǎng)絡(luò)也是如此，由于知識(shí)存儲(chǔ)在整個(gè)系統(tǒng)中，而

40、不是在一個(gè)存儲(chǔ)單元中，一定比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)性能不會(huì)產(chǎn)生重大影響。</p><p>　?。?）人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、自適應(yīng)能力。人腦功能受先天因素的制約，但后天因素（如經(jīng)歷、學(xué)習(xí)與訓(xùn)練等）起著重要作用。人工神經(jīng)網(wǎng)絡(luò)很好地模擬了人腦的這一特性。如果最后的輸出不正確，系統(tǒng)可以調(diào)整加到每個(gè)輸入上去的權(quán)重以產(chǎn)生一個(gè)新的結(jié)果，這可以通過一定的訓(xùn)練算法來實(shí)現(xiàn)。訓(xùn)練過程是復(fù)雜的，通過網(wǎng)絡(luò)重復(fù)地進(jìn)行輸入數(shù)

41、據(jù)，且每次都調(diào)整權(quán)重以改善結(jié)果，最終達(dá)到所希望的輸出。網(wǎng)絡(luò)便在訓(xùn)練過程中學(xué)到了經(jīng)驗(yàn)。</p><p>　　2.3.2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式</p><p>　　通過向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是NN的一個(gè)重要特點(diǎn)。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。學(xué)習(xí)方式(按照環(huán)境提供信息量的多少)有三種：</p><p>　　1

42、．監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）</p><p>　　如圖2－2所示，這種學(xué)習(xí)方式需要外界存在一個(gè)“教師”，它可對(duì)給定一組輸入提供應(yīng)有的輸出結(jié)果（正確答案），這組已知的輸入－輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)可根據(jù)已知輸出與實(shí)際輸入之間的差值（誤差信號(hào)）來調(diào)節(jié)系統(tǒng)參數(shù)。</p><p>　　2．非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）</p><p>　　如圖2－3所示，非監(jiān)督學(xué)習(xí)時(shí)不存在外

43、部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計(jì)上的分布特征）。</p><p>　　3．再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）</p><p>　　如圖2－4所示，這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲）而不是給出正確答案。學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)的動(dòng)作來改善自身的性能。<

44、;/p><p>　　圖2－4 再勵(lì)學(xué)習(xí)框圖</p><p>　　當(dāng)學(xué)習(xí)系統(tǒng)所處環(huán)境平穩(wěn)時(shí)（統(tǒng)計(jì)特性不隨時(shí)間變化），從理論上講通過監(jiān)督學(xué)習(xí)可以學(xué)到環(huán)境的統(tǒng)計(jì)特性，這些統(tǒng)計(jì)特性可被學(xué)習(xí)系統(tǒng)（神經(jīng)網(wǎng)絡(luò)）作為經(jīng)驗(yàn)記住。如果環(huán)境是非平穩(wěn)的（統(tǒng)計(jì)特性隨時(shí)間變化），通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化，此時(shí)需要對(duì)每一不同輸入都作為一個(gè)新的例子來對(duì)待。</p><p>　　2.3.3人

45、工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)及應(yīng)用舉例</p><p>　　目前，人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方法有以下四種途徑：</p><p><b>　　1．軟件模擬</b></p><p>　　2．超大規(guī)模集成電路（VLSI）</p><p><b>　　3．光電混合</b></p><p><b&

46、gt;　　4．全光實(shí)現(xiàn)</b></p><p>　　軟件模擬盡管由于受現(xiàn)行計(jì)算機(jī)串行處理的限制而發(fā)揮不出神經(jīng)網(wǎng)絡(luò)并行計(jì)算速度快的優(yōu)點(diǎn)來，學(xué)習(xí)速度慢，但因?yàn)槠淙菀讓?shí)現(xiàn)，因而是用來研究網(wǎng)絡(luò)模型性能特點(diǎn)的很好工具。對(duì)于改變網(wǎng)絡(luò)模型性能，為硬件實(shí)現(xiàn)提供可靠資料方面，軟件模擬起著重要作用。對(duì)一些可以離線學(xué)習(xí)的實(shí)際應(yīng)用問題，也可以用軟件模擬的方法來實(shí)現(xiàn)。</p><p>　　由于超大規(guī)模集

47、成電路技術(shù)的成熟，目前國外已經(jīng)研制出各種神經(jīng)芯片。全光實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的典型例子是Hopfield模型的實(shí)現(xiàn)，即Y.Owechko提出的關(guān)聯(lián)存儲(chǔ)器，它充分利用了光學(xué)二維并行處理的特點(diǎn)。光電混合的實(shí)現(xiàn)方法將光的二維并行處理特點(diǎn)同電子控制的靈活性結(jié)合起來，各取所長。利用光學(xué)方法實(shí)現(xiàn)并行的矩陣矢量乘法運(yùn)算，即光學(xué)乘法器，用電子或計(jì)算機(jī)方法來取闕值，控制反饋并調(diào)節(jié)互聯(lián)權(quán)重，其發(fā)展相當(dāng)迅速。</p><p>　　2.3.4人工

48、神經(jīng)網(wǎng)絡(luò)的發(fā)展前景</p><p>　　近幾年來，人工神經(jīng)網(wǎng)絡(luò)無論在理論研究上，還是再實(shí)踐應(yīng)用中，都取得了突飛猛進(jìn)的發(fā)展。但是我們必須清醒的認(rèn)識(shí)到，人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)系統(tǒng)相比，無論在結(jié)構(gòu)還是在規(guī)模上，都只是極其簡單的模擬。另外，現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用，都是為某種特定的用途而開展的，其設(shè)計(jì)規(guī)則沒有推廣性。因此，人工神經(jīng)網(wǎng)絡(luò)的研究還存在著許多待研究的問題。具體來講，今后的研究還需致力于以下幾個(gè)方面：</p&

49、gt;<p>　　（1）研究人工神經(jīng)網(wǎng)絡(luò)的通用網(wǎng)絡(luò)規(guī)模及算法，包括網(wǎng)絡(luò)的層數(shù)、每層節(jié)點(diǎn)數(shù)、連接方式、激發(fā)函數(shù)的類型等。</p><p>　?。?）研究學(xué)習(xí)算法，使網(wǎng)絡(luò)的訓(xùn)練能既快又穩(wěn)地收斂到全局最小點(diǎn)，即全局最優(yōu)解。</p><p>　?。?）研制人工神經(jīng)網(wǎng)絡(luò)硬件芯片以提高運(yùn)行速度。</p><p>　?。?）研究人工神經(jīng)網(wǎng)絡(luò)類似人類的知識(shí)獲取過程。人

50、類的知識(shí)獲取是循序漸進(jìn)、逐漸積累、至始到終的。一般是經(jīng)過訓(xùn)練，從無知一躍變?yōu)榫哂心撤N專門知識(shí)，并停留在這一水平上。若要加入新知識(shí)則需要重新開始學(xué)習(xí)。這種方式限制了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。</p><p>　　目前，人工神經(jīng)網(wǎng)絡(luò)還處于算法研究階段，硬件實(shí)現(xiàn)進(jìn)展還十分緩慢。但是隨著超大規(guī)模集成電路VLSI、光學(xué)與電子器件的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)將會(huì)得到越來越廣泛的應(yīng)用和迅猛發(fā)展。</p><p>&l

51、t;b>　　第三章 BP網(wǎng)絡(luò)</b></p><p>　　3.1 BP 算法</p><p>　　自1985年Rumelhart提出BP算法以來，神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用已經(jīng)迅速發(fā)展并滲透到各個(gè)學(xué)科，神經(jīng)網(wǎng)絡(luò)算法已不再是只供研究，而在實(shí)際的生產(chǎn)中開始了廣泛的應(yīng)用。如：數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)挖掘、產(chǎn)品的自動(dòng)分撿系統(tǒng)的圖像識(shí)別等。對(duì)應(yīng)地在計(jì)算機(jī)輔助設(shè)計(jì)的軟件開發(fā)中，神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)

52、也越來越多。</p><p>　　神經(jīng)網(wǎng)絡(luò)以其快速的并行處理能力和其強(qiáng)有力的學(xué)習(xí)能力而獲得越來越廣泛的重視，其中應(yīng)用最多的是BP神經(jīng)網(wǎng)絡(luò)。BP學(xué)習(xí)算法，即反向傳播（back propagation）學(xué)習(xí)算法是一種有導(dǎo)師的示例學(xué)習(xí)算法。這種學(xué)習(xí)算法在模式識(shí)別領(lǐng)域中，尤其在字符識(shí)別的研究中被廣泛使用。其原因是BP算法學(xué)習(xí)規(guī)則的堅(jiān)韌性和學(xué)習(xí)能力很強(qiáng)，當(dāng)給定模式與BP網(wǎng)絡(luò)學(xué)會(huì)的模式很相似時(shí)，BP網(wǎng)絡(luò)能很好的完成識(shí)別任務(wù)。

53、</p><p>　　3.1.1 BP算法的主要思想</p><p>　　BP 算法是一種有監(jiān)督式的學(xué)習(xí)算法。其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，通過誤差的反向傳播，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。</p><p>　　3.1.2 BP算法的組成

54、</p><p>　　BP 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中,輸入信息從輸入層經(jīng)過隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將連接權(quán)關(guān)于誤差函數(shù)的導(dǎo)數(shù)沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權(quán)值使得誤差減小，直至達(dá)到期望目標(biāo)。</p><p&

55、gt;　　3.1.3 BP網(wǎng)絡(luò)的一般學(xué)習(xí)算法</p><p>　　BP網(wǎng)絡(luò)是一種有監(jiān)督的前饋運(yùn)行的神經(jīng)網(wǎng)絡(luò)，它由輸入層i、隱含層h、輸出層k以及各層之間的節(jié)點(diǎn)的連接權(quán)所組成。BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖3－1和圖3－2所示。</p><p><b>　　1．正向傳播過程</b></p><p><b>　　輸入層</b><

56、/p><p>　　輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。</p><p><b>　　隱含層</b></p><p>　　對(duì)于節(jié)點(diǎn)j，其輸入值netj為其前一層各節(jié)點(diǎn)輸出值Oi的加權(quán)和：</p><p>　　netj＝ijOi （1）</p>

57、<p><b>　　輸出值：</b></p><p>　　Oj＝fs（netj） （2）</p><p>　　式中fs（·）稱為激勵(lì)函數(shù)或者作用函數(shù)。一般采用sigmoid函數(shù)：</p><p>　　式中θj稱為闕值，λ稱為溫度系數(shù)。</p><p&g

58、t;　　隱含層可為一層或者多層，但是隨著隱含層的增多，網(wǎng)格的復(fù)雜程度也隨之增加，學(xué)習(xí)速度減慢，另外網(wǎng)絡(luò)的推導(dǎo)能力也有可能下降，即所謂的“overfitting”現(xiàn)象。網(wǎng)絡(luò)隱含層以及節(jié)點(diǎn)數(shù)目的選取是BP網(wǎng)絡(luò)學(xué)習(xí)算法有待解決的一個(gè)問題。</p><p><b>　　輸出層</b></p><p>　　輸出層的輸入netk與輸出Ok與隱含層類似，分別為：</p>

59、<p>　　netk＝kjOi （4）</p><p>　　Ok＝fx（netk） （5）</p><p><b>　　2．反向傳播過程</b></p><p>　　BP學(xué)習(xí)算法的誤差函數(shù)一般定義為實(shí)際輸出與期望輸出的均

60、方誤差和。通過使誤差函數(shù)最小化的過程不斷的改變權(quán)重，完成從輸入到輸出的非線性映射。</p><p>　　設(shè)網(wǎng)絡(luò)輸入模式樣本為xp＝{xpi}，期望輸出為{tpk}，均方誤差函數(shù)Ep為：</p><p>　　Ep＝pk－Opk）2 （6）</p><p>　　而對(duì)于所有的學(xué)習(xí)樣本，系統(tǒng)的均方誤差為：</p>&

61、lt;p>　　Ep＝tpk－Opk）2 （7）</p><p>　　為了達(dá)到學(xué)習(xí)目的，要根據(jù)誤差函數(shù)來相應(yīng)地調(diào)整網(wǎng)絡(luò)間的連接權(quán)值。一般來說經(jīng)典的BP學(xué)習(xí)算法采用最速梯度下降法調(diào)整權(quán)值，每次調(diào)整的增量為：</p><p>　　式中0<η<1稱為學(xué)習(xí)率。</p><p>　　從（8）式可推出下列連接權(quán)值的修正量公

62、式</p><p>　　⊿Wkj＝ηkOj （9）</p><p><b>　　對(duì)于輸出節(jié)點(diǎn)：</b></p><p>　　k＝（tk－Ok）Ok(1－Ok) （10）</p><p><b>　　對(duì)于隱節(jié)點(diǎn)

63、：</b></p><p>　　j＝Oj（1－Oj）kWkj （11）</p><p>　　3.2 BP學(xué)習(xí)算法的局限性與對(duì)策</p><p>　　BP學(xué)習(xí)算法解決了多層前饋網(wǎng)絡(luò)的訓(xùn)練與非線性映射問題，在實(shí)際應(yīng)用中具有重大意義，在應(yīng)用BP學(xué)習(xí)算法的過程中，人們逐漸發(fā)現(xiàn)它存在的某些缺陷，存在局部極小值、學(xué)習(xí)速度

64、慢、網(wǎng)絡(luò)隱節(jié)點(diǎn)和初始權(quán)值的選取只能憑經(jīng)驗(yàn)、新加入的樣本要影響已經(jīng)學(xué)完的樣本，并且每個(gè)樣本的輸入樣本的特征數(shù)目也要求必須相同；學(xué)習(xí)過程能否收斂，什么時(shí)候收斂已經(jīng)學(xué)習(xí)后所生成的權(quán)重空間的分布狀況等，這些至今還是一個(gè)未知數(shù)。</p><p>　　3.2.1 BP學(xué)習(xí)算法存在的局限性</p><p>　　BP學(xué)習(xí)算法存在的局限性總結(jié)如下：</p><p>　　1．歸納能力（

65、GENERALIZATION）</p><p>　　基于BP學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的歸納能力。這里，歸納是指當(dāng)用一組同類型的樣本集訓(xùn)練時(shí)，BP網(wǎng)絡(luò)能將一些不相關(guān)的信息忽略掉，而學(xué)習(xí)樣本集中共同的特征，通過這樣的學(xué)習(xí)，BP網(wǎng)絡(luò)很容易記住了這一類型的樣本。然而，BP學(xué)習(xí)算法對(duì)不同類型微小特征差異的樣本缺乏足夠的歸納能力。</p><p>　　2．外推能力（EXTRAPOLATION）<

66、;/p><p>　　和歸納能力相對(duì)，BP網(wǎng)絡(luò)的外推能力是指BP網(wǎng)絡(luò)對(duì)一類樣本訓(xùn)練完后，對(duì)其它非訓(xùn)練樣本測試其識(shí)別能力。實(shí)驗(yàn)結(jié)果表明，外推能力與訓(xùn)練樣本的種類和數(shù)量有關(guān)。只有將各種不同類型的充足的樣本訓(xùn)練后，才能對(duì)各種樣本的測試達(dá)到較好的推廣能力。</p><p><b>　　3．學(xué)習(xí)速度</b></p><p>　　BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是一種超大

67、規(guī)模的反復(fù)的浮點(diǎn)數(shù)值運(yùn)算過程，因此，無論從學(xué)習(xí)算法本身考慮，還是從使用的微機(jī)設(shè)備上考慮，學(xué)習(xí)速度一般是較慢的。</p><p><b>　　4．收斂性</b></p><p>　　BP學(xué)習(xí)算法的收斂性至今沒能用完整的理論來證明它。網(wǎng)絡(luò)學(xué)習(xí)過程中極易陷入局部極小點(diǎn)。一旦網(wǎng)絡(luò)的權(quán)重陷入一個(gè)極小點(diǎn)，無論是全局極小點(diǎn)還是局部極小點(diǎn)，學(xué)習(xí)均告終止。如果在該點(diǎn)的狀態(tài)下所要求的問題

68、解是正確的，那么，該點(diǎn)是局部的還是全局的極小點(diǎn)就顯得不那么重要了。但若所求問題的解是不正確的，那么只有再次調(diào)整權(quán)值，直到找到另一個(gè)極小點(diǎn)對(duì)所求問題的解是正確時(shí)為止，即要逃離原來的局部極小點(diǎn)。</p><p><b>　　5．解釋能力</b></p><p>　　神經(jīng)網(wǎng)絡(luò)對(duì)自身解決問題的方式不能形成一個(gè)規(guī)范的推導(dǎo)過程。它通過學(xué)習(xí)所形成的“自我認(rèn)識(shí)”對(duì)人來說是透明的。這對(duì)

69、有導(dǎo)師訓(xùn)練的BP學(xué)習(xí)算法而言，大大阻礙了指導(dǎo)人與被指導(dǎo)對(duì)象的交流。</p><p>　　3.2.2克服BP學(xué)習(xí)算法的對(duì)策</p><p>　　上面論述的BP學(xué)習(xí)算法局限性，它既受BP學(xué)習(xí)算法本身不足之處的限制，也受所采用的網(wǎng)絡(luò)結(jié)構(gòu)形式的限制，而且還受訓(xùn)練者所積累的經(jīng)驗(yàn)和訓(xùn)練方法的限制。因此，從以下3個(gè)方面改進(jìn)，實(shí)驗(yàn)效果良好。</p><p>　　1．多神經(jīng)網(wǎng)絡(luò)組合結(jié)

70、構(gòu)</p><p>　　圖3－3為有限類模式識(shí)別的多神經(jīng)網(wǎng)絡(luò)組合結(jié)構(gòu)簡圖。設(shè)所要求解的問題劃分為m類，分別由group1，group2，…，groupm，共m組神經(jīng)網(wǎng)絡(luò)分類器完成。每一類問題又由該組的若干個(gè)規(guī)模較小的神經(jīng)網(wǎng)絡(luò)共同完成。決策判斷將m組的神經(jīng)網(wǎng)絡(luò)分類器輸出綜合考慮，根據(jù)輸出結(jié)果的要求，可采用不同的決策判斷策略，最后輸出結(jié)果。多神經(jīng)網(wǎng)絡(luò)組合結(jié)構(gòu)具有如下的特點(diǎn)：</p><p>　

71、?。?）多神經(jīng)網(wǎng)絡(luò)組合結(jié)構(gòu)，將以往BP網(wǎng)絡(luò)規(guī)模大小與問題復(fù)雜性的矛盾轉(zhuǎn)化為系統(tǒng)規(guī)模大小與問題復(fù)雜性的矛盾。后一矛盾比較容易由軟件模擬或硬件方法解決。</p><p>　?。?）神經(jīng)網(wǎng)絡(luò)組合結(jié)構(gòu)使得一個(gè)復(fù)雜的問題得以細(xì)分為一個(gè)個(gè)小問題，分別由不同的小神經(jīng)網(wǎng)絡(luò)完成。做到每個(gè)小神經(jīng)網(wǎng)絡(luò)解決的問題簡單，規(guī)模變小，從而確定了對(duì)小神經(jīng)網(wǎng)絡(luò)的規(guī)模和識(shí)別能力要求。因此，網(wǎng)絡(luò)的學(xué)習(xí)速度得到有效的提高，收斂性問題也容易得到技術(shù)上的解

72、決。這樣帶來的好處是學(xué)習(xí)樣本可以方便、快速地進(jìn)入系統(tǒng)，從而不斷提高整個(gè)系統(tǒng)地識(shí)別率。</p><p>　?。?）神經(jīng)網(wǎng)絡(luò)組合結(jié)構(gòu)具有極強(qiáng)地?cái)U(kuò)充能力。根據(jù)所需識(shí)別對(duì)象的模式類型可方便地確定出所需的分類器組數(shù)。并能在系統(tǒng)不斷學(xué)習(xí)的過程中，靈活地增加或減少每組分類器內(nèi)小神經(jīng)網(wǎng)絡(luò)地個(gè)數(shù)。</p><p>　　（4）組合結(jié)構(gòu)使大量地訓(xùn)練樣本分散到各個(gè)小神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，每個(gè)小神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同，規(guī)模不盡

73、相同，所訓(xùn)練的樣本集也不盡相同。</p><p>　?。?）各個(gè)小神經(jīng)網(wǎng)絡(luò)之間是相互獨(dú)立的，每當(dāng)對(duì)其中的一個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練時(shí)，只是該小神經(jīng)網(wǎng)絡(luò)內(nèi)的神經(jīng)元之間連接權(quán)重的改變，而對(duì)其它小神經(jīng)網(wǎng)絡(luò)的權(quán)重沒有任何影響。各個(gè)小神經(jīng)網(wǎng)絡(luò)之間又是相互補(bǔ)充的，每組內(nèi)各個(gè)小神經(jīng)網(wǎng)絡(luò)完成對(duì)一個(gè)特定問題的學(xué)習(xí)、訓(xùn)練和識(shí)別。</p><p>　?。?）各組神經(jīng)網(wǎng)絡(luò)分類器之間是相互排斥的。每組神經(jīng)網(wǎng)絡(luò)分類器既

74、完成對(duì)本組模式的識(shí)別，也完成對(duì)其它各組模式的拒識(shí)。同時(shí)，它們又是相互聯(lián)系的，各組神經(jīng)網(wǎng)絡(luò)分類器的組合共同完成對(duì)所有模式的識(shí)別。</p><p>　　2．對(duì)BP學(xué)習(xí)算法的改進(jìn)</p><p><b>　　詳見3.3節(jié)</b></p><p><b>　　3．改進(jìn)訓(xùn)練策略</b></p><p><

75、;b>　　a．批量學(xué)習(xí)方式</b></p><p>　　批量學(xué)習(xí)方法是將樣本集的所有樣本一一輸入，分別求出其輸出誤差。選取最大的誤差對(duì)權(quán)重進(jìn)行調(diào)整?？墒沁@樣做會(huì)帶來新局部極小點(diǎn)的缺點(diǎn)，實(shí)驗(yàn)表明確實(shí)如此。出現(xiàn)這類情況，采用如下策略能有效地逃離該局部極小點(diǎn)。</p><p>　?。?）將所有訓(xùn)練樣本集樣本再輸入一次或者幾次，進(jìn)行調(diào)整權(quán)值。因?yàn)槊看沃匦螺斎霕颖緯r(shí)，初值較前一次有

76、變化。</p><p>　　（2）將期望誤差改小。</p><p>　?。?）等新的樣本添加進(jìn)來后再一起訓(xùn)練。</p><p>　　b．人工干預(yù)的學(xué)習(xí)方式</p><p>　?。?）限制BP網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間</p><p>　　一般規(guī)定一分鐘以內(nèi)學(xué)習(xí)結(jié)束，否則認(rèn)為學(xué)習(xí)速度過于緩慢，此時(shí)人為中斷這次的學(xué)習(xí)過程。</p

77、><p>　?。?）限制單個(gè)網(wǎng)絡(luò)的規(guī)模及其學(xué)習(xí)的樣本數(shù)。當(dāng)單個(gè)小網(wǎng)絡(luò)達(dá)到限定的規(guī)模，并且學(xué)習(xí)的樣本數(shù)也達(dá)到限定的范圍時(shí)，則認(rèn)為小網(wǎng)絡(luò)的識(shí)別能力已經(jīng)足夠了。再增加進(jìn)來的學(xué)習(xí)樣本，則只有當(dāng)它在半分鐘內(nèi)學(xué)習(xí)結(jié)束的，才被網(wǎng)絡(luò)接受，否則認(rèn)為該小網(wǎng)絡(luò)不接受它，也即表明此樣本跟該網(wǎng)絡(luò)所能識(shí)別的樣本是不合群的。</p><p><b>　?。?）交叉訓(xùn)練方法</b></p>

78、<p>　　對(duì)于一批訓(xùn)練樣本集，假設(shè)有2種類型，不能把集中同一類型的樣本都訓(xùn)練完后才轉(zhuǎn)去訓(xùn)練另一種類型的樣本。而應(yīng)該將一部分第一種類型的樣本訓(xùn)練完后，再將一部分第二種類型的樣本進(jìn)行訓(xùn)練，然后再輸入另一部分第一種類型的樣本訓(xùn)練，如此反復(fù)。實(shí)驗(yàn)表明，這樣訓(xùn)練的單個(gè)小網(wǎng)絡(luò)有較好的識(shí)別能力。</p><p>　　（4）一次性整批樣本添加訓(xùn)練法</p><p>　　將這次所需訓(xùn)練的樣本一

79、次性地全部添加到原有訓(xùn)練樣本集后面訓(xùn)練，直到學(xué)習(xí)結(jié)束。</p><p>　?。?）分批樣本添加訓(xùn)練法</p><p>　　即將這次所需訓(xùn)練的全部樣本分成幾批，一次添加一批樣本到原有訓(xùn)練樣本集后面訓(xùn)練，等學(xué)習(xí)結(jié)束后，再添加第二批樣本集進(jìn)行訓(xùn)練，直到將所有樣本訓(xùn)練完。</p><p>　?。?）單個(gè)樣本添加訓(xùn)練法</p><p>　　即每次只添加

80、一個(gè)樣本進(jìn)行訓(xùn)練，直到將所有樣本訓(xùn)練完。</p><p>　?。?）改變樣本順序的訓(xùn)練法</p><p>　　當(dāng)新樣本添加到已有訓(xùn)練樣本集時(shí)，新樣本可插入已有訓(xùn)練樣本集中任何位置，同時(shí)可改變已有訓(xùn)練樣本的順序。</p><p>　　3.3對(duì)BP算法的改進(jìn)</p><p>　　針對(duì)BP算法存在的問題，許多研究者從不從的角度提出了許多的解決方法，

81、這些方法都在一定程度上改進(jìn)了 BP算法，并且由此繁衍出了很多變型的BP算法。對(duì)BP算法的改進(jìn)可分為以下幾類：</p><p>　　3.3.1改進(jìn)誤差函數(shù)</p><p>　　經(jīng)典的BP算法采用3.1.3中式（7）的平方型誤差函數(shù)，根據(jù)優(yōu)化理論，誤差函數(shù)可以是多種多樣的。一般來說，BP算法的誤差函數(shù)應(yīng)該具有如下性質(zhì)：</p><p><b>　?。╥）可微&

82、lt;/b></p><p>　?。╥i）|tpk－Opk| fc（tpk－Opk）</p><p>　?。╥ii）fc（tpk－Opk）非負(fù)</p><p>　　所以我們只要找到滿足上面三個(gè)條件的函數(shù)，就可以把它作為BP算法的誤差函數(shù)。經(jīng)典的BP算法權(quán)值的調(diào)節(jié)增量?W與系統(tǒng)誤差成線性關(guān)系。這種調(diào)節(jié)容易陷入局部極小，或者產(chǎn)生振蕩。造成這種現(xiàn)象的原因之一是因?yàn)樵?/p>

83、利用系統(tǒng)誤差調(diào)節(jié)權(quán)值的時(shí)候只考慮了誤差函數(shù)的一次項(xiàng)而忽略了高次項(xiàng)的作用。有人提出了一種類似的改進(jìn)方法：取誤差函數(shù)為：</p><p><b>　　fc＝1－</b></p><p>　　比較這兩個(gè)式子的導(dǎo)數(shù)，可以發(fā)現(xiàn)該算法較經(jīng)典的BP算法多了一項(xiàng)。由Taylor展開式可知該項(xiàng)因子包含了系統(tǒng)誤差的高次項(xiàng)，它的作用是能根據(jù)期望輸出與實(shí)際輸出之間的誤差動(dòng)態(tài)的調(diào)整學(xué)習(xí)率，提高

84、了學(xué)習(xí)速度，避免了局部極小值的出現(xiàn)和振蕩現(xiàn)象的出現(xiàn)，實(shí)例運(yùn)行表明效果提高顯著。Joines也提出了采用包含系統(tǒng)誤差的高次項(xiàng)的誤差函數(shù)的改進(jìn)方法。</p><p>　　3.3.2改進(jìn)激勵(lì)函數(shù)</p><p>　　經(jīng)典的BP算法采用sigmoid函數(shù)，其輸出的動(dòng)態(tài)范圍為[0，1]，其導(dǎo)數(shù)為：</p><p>　　f’s＝f（x）（1－f（x））</p>&

85、lt;p>　　把sigmoid函數(shù)的值接近于0或1的定義域兩端定義為飽和區(qū)，中間為非飽和區(qū)。在飽和區(qū)函數(shù)值對(duì)自變量netj的變化不敏感。因此，當(dāng)某神經(jīng)元j的輸入總值netj處于飽和區(qū)時(shí)，那么權(quán)值的微小的變化不會(huì)對(duì)該神經(jīng)元的輸出產(chǎn)生什么影響，所以當(dāng)一個(gè)神經(jīng)元處于飽和區(qū)后，它所受到后面樣本學(xué)習(xí)的影響不會(huì)很大。如果此時(shí)神經(jīng)元的輸出不是期望的輸出值，而權(quán)值調(diào)節(jié)量又很小，就很難將神經(jīng)元的狀態(tài)調(diào)整過來，因而影響了網(wǎng)絡(luò)的收斂速度。這就是所謂的“

86、平臺(tái)”現(xiàn)象。</p><p>　　《多層前饋神經(jīng)網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法》（參考文獻(xiàn)7）中提出了一種方法，當(dāng)判斷某個(gè)神經(jīng)元處于假飽和時(shí)，便不用經(jīng)典的學(xué)習(xí)規(guī)則調(diào)整權(quán)值，而是用一個(gè)固定的常數(shù)s代替f’s，促使神經(jīng)元迅速地從假飽和狀態(tài)擺脫出來，從而加速網(wǎng)絡(luò)的收斂，解決了平臺(tái)現(xiàn)象。</p><p>　　Tawel等提出了一種動(dòng)態(tài)調(diào)整溫度系數(shù)λ的方法。隨著溫度系數(shù)λ的減小，sigmoid函數(shù)的飽和區(qū)間

87、也變小，對(duì)網(wǎng)絡(luò)的收斂很有幫助。但是在網(wǎng)絡(luò)的學(xué)習(xí)初期，這樣的sigmoid函數(shù)同時(shí)也會(huì)減慢權(quán)值的調(diào)整，學(xué)習(xí)速度不會(huì)有明顯的提高。針對(duì)這種情況該方法讓溫度系數(shù)也隨著網(wǎng)絡(luò)的誤差的變化而做相應(yīng)的調(diào)整，根據(jù)網(wǎng)絡(luò)目前的狀態(tài)取值，從而避免神經(jīng)元的假飽和。</p><p>　　對(duì)激勵(lì)函數(shù)的修改并不只限于以上兩種方法。由于激勵(lì)函數(shù)對(duì)學(xué)習(xí)速度的影響主要體現(xiàn)在假飽和現(xiàn)象上，因此只要能夠克服假飽和現(xiàn)象就有可能提高學(xué)習(xí)速度。據(jù)此還可以做進(jìn)

88、一步的研究，找出更多的滿足要求的激勵(lì)函數(shù)。</p><p>　　3.3.3改進(jìn)優(yōu)化算法</p><p>　　經(jīng)典的BP算法采用梯度下降法。當(dāng)誤差曲面為窄長型時(shí)，該算法在谷的兩壁跳來跳去，影響了網(wǎng)絡(luò)的收斂速度。最普通的改進(jìn)方法為附加動(dòng)量法，將式（9）改為：</p><p><b>　　式中稱為動(dòng)量因子。</b></p><p&

89、gt;　　利用附加的動(dòng)量項(xiàng)可以起到平滑梯度方向的劇烈變化。更進(jìn)一步可以在學(xué)習(xí)過程中動(dòng)態(tài)地調(diào)整η和α的值，使η隨系統(tǒng)總誤差E不斷的變化，以避免出現(xiàn)⊿W取值過小，尤其是在接近系統(tǒng)最小值的時(shí)候。</p><p>　　實(shí)驗(yàn)中發(fā)現(xiàn)，η越大，學(xué)習(xí)速度會(huì)越快，但過大時(shí)會(huì)引起振蕩效應(yīng)；而α取的過大可能導(dǎo)致發(fā)散，過小則收斂速度太慢；η取0.2～0.5，α取0.90～0.98時(shí)有較快的收斂速度。動(dòng)態(tài)調(diào)整η和α值，收到良好效果。<

90、;/p><p>　　根據(jù)優(yōu)化理論還有很多種優(yōu)化方法。這些方法一般都可以應(yīng)用到改進(jìn)BP算法中。例如同倫方法、梯度法、共軛梯度法以及牛頓法。事實(shí)證明采用較好的優(yōu)化方法可以提高網(wǎng)絡(luò)的收斂速度、避免陷入局部極小。尋求一種適合BP算法使用的新的優(yōu)化算法也是一個(gè)很有價(jià)值的研究課題。</p><p>　　第四章 手寫數(shù)字識(shí)別</p><p><b>　　4.1 模式識(shí)別&l

91、t;/b></p><p>　　手寫體數(shù)字識(shí)別是計(jì)算機(jī)模式識(shí)別領(lǐng)域的一個(gè)前沿課題。模式識(shí)別誕生于20世紀(jì)20年代，隨著40年代計(jì)算機(jī)的出現(xiàn)，50年代人工智能的興起，模式識(shí)別在20世紀(jì)60年代迅速發(fā)展成為一門學(xué)科，擴(kuò)大了計(jì)算機(jī)應(yīng)用的可能性。幾十年來，模式識(shí)別研究取得了大量的成果，也實(shí)現(xiàn)了很多成功的應(yīng)用。</p><p>　　4.1.1模式和模式識(shí)別的概念</p><

92、p>　　我們?cè)谌粘Ｉ钪薪?jīng)常進(jìn)行模式識(shí)別的活動(dòng)。比如說，我們能分別出桌子、椅子，很小的時(shí)候就能分辯出自己的父母，能夠聽出是誰的聲音，能夠進(jìn)行正常的閱讀，這些都是我們習(xí)以為常的能力，在計(jì)算機(jī)出現(xiàn)以前，沒有人對(duì)此表現(xiàn)出驚奇，也沒有人注意到人類的模式識(shí)別能力是一個(gè)值得研究的課題。當(dāng)計(jì)算機(jī)出現(xiàn)以后，人工智能開始發(fā)展，模式識(shí)別也隨之成為一個(gè)熱門課題，當(dāng)科學(xué)家發(fā)現(xiàn)用機(jī)器實(shí)現(xiàn)人類的模式識(shí)別能力是如此麻煩時(shí)，人們才意識(shí)到這個(gè)問題的難度。</

93、p><p>　　“模式”（Pattern）這個(gè)詞的原意是指供模仿用的，完美無缺的標(biāo)本，這是一個(gè)相當(dāng)含蓄的定義，并且觸及了一些相當(dāng)深?yuàn)W的論題。在心理學(xué)中，模式識(shí)別是作為一個(gè)過程來定義的，通過這一過程，到達(dá)感覺器官的外界信號(hào)被轉(zhuǎn)換成有意義的感性經(jīng)驗(yàn)。簡單一點(diǎn)說，模式被理解成取自世界有限部分的單一樣本的被測量值的綜合；模式識(shí)別就是試圖確定一個(gè)樣本的類別屬性，即把某一樣本歸屬于多個(gè)類型中的某一類型。</p>&

94、lt;p>　　人們研究的目的就是實(shí)現(xiàn)機(jī)器的自動(dòng)識(shí)別。這就需要把人們的知識(shí)和經(jīng)驗(yàn)教給機(jī)器，為機(jī)器定制一些規(guī)則和方法，并且讓機(jī)器具有綜合分析和自動(dòng)分類的判斷能力，以便使機(jī)器能夠完成自動(dòng)識(shí)別的任務(wù)。當(dāng)機(jī)器學(xué)會(huì)自動(dòng)識(shí)別后，可以完成人們自己難以完成的許多工作。因此，模式識(shí)別技術(shù)被廣泛地應(yīng)用于人工智能、計(jì)算機(jī)工程、神經(jīng)生物學(xué)、醫(yī)學(xué)、偵探學(xué)以及高能物理、考古學(xué)、地質(zhì)勘探、宇航科學(xué)和武器技術(shù)等許多重要的領(lǐng)域，隨著高科技的迅速發(fā)展，模式識(shí)別技術(shù)必將

95、獲得更廣泛的應(yīng)用，其基本理論和方法也會(huì)愈益豐富。</p><p>　　4.1.2模式識(shí)別系統(tǒng)的構(gòu)成</p><p>　　有兩種基本的模式識(shí)別方法，即統(tǒng)計(jì)模式識(shí)別方法和結(jié)構(gòu)（句法）模式識(shí)別方法，與此相應(yīng)的模式識(shí)別系統(tǒng)都是有兩個(gè)過程（設(shè)計(jì)與實(shí)現(xiàn)）所組成?！霸O(shè)計(jì)”是指用一定數(shù)量的樣本（訓(xùn)練集/學(xué)習(xí)集）進(jìn)行分類器的設(shè)計(jì)?！皩?shí)現(xiàn)”是指用所設(shè)計(jì)的分類器對(duì)待識(shí)別的樣本進(jìn)行分類決策?；诮y(tǒng)計(jì)模式識(shí)別的系統(tǒng)

96、主要由以下幾個(gè)部分組成：信息獲取、預(yù)處理、特征提取和選擇、分類決策，如圖4－1所示。</p><p><b>　　1．信息獲取</b></p><p>　　為了使計(jì)算機(jī)能夠?qū)Ω鞣N現(xiàn)象進(jìn)行分類識(shí)別，要用計(jì)算機(jī)可以運(yùn)算的符合來表示所研究的對(duì)象，通常輸入對(duì)象的信息有下列3種類型，即</p><p><b>　?。?）二位圖像</b&g

97、t;</p><p>　　如文字、指紋、地圖、照片這類對(duì)象。</p><p><b>　?。?）一維波形</b></p><p>　　如腦電圖、L1電圖、機(jī)械震動(dòng)波形等。</p><p>　?。?）物理參量和邏輯值</p><p>　　前者如在疾病診斷中病人的體溫及各種化驗(yàn)數(shù)據(jù)等；后者如對(duì)某參量正

98、常與否的判斷或?qū)ΠY狀有無的描述，如疼與不疼，可用邏輯值即0和1表示。在引入模糊邏輯的系統(tǒng)中，這些還可以包括模糊邏輯值，比如很大、大、比較大等。</p><p>　　通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或一維波形。這就是信息獲取的過程。</p><p><b>　　2．預(yù)處理</b></p><p>　　預(yù)處理的目的是去除噪聲，加強(qiáng)

99、有用的信息，并對(duì)輸入測量儀器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原。</p><p><b>　　3．特征提取和選擇</b></p><p>　　由圖像或波形所獲得的數(shù)據(jù)量是相當(dāng)大的。例如，一個(gè)文字圖像可以有幾千個(gè)數(shù)據(jù)，一個(gè)心電圖波形也可能有幾千個(gè)數(shù)據(jù)，一個(gè)衛(wèi)星遙感圖像的數(shù)據(jù)量就更大。為了有效地實(shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。這就是特征提

100、取和選擇的過程。</p><p><b>　　4．分類決策</b></p><p>　　分類決策就是在特征空間中使用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類別?；咀龇ㄊ窃跇颖居?xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種判決規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小。</p><p>　　4.2手寫體數(shù)字識(shí)別</p><

101、p><b>　　4.2.1課題概述</b></p><p>　　手寫體數(shù)字識(shí)別是計(jì)算機(jī)模式識(shí)別領(lǐng)域的一個(gè)前沿課題。隨著信息化的發(fā)展， 手寫數(shù)字識(shí)別的應(yīng)用需求將會(huì)更加廣泛。</p><p>　　文字是人們相互交流的主要工具，從圖的角度看，它是簡單的圖形；從技術(shù)上看，文字圖形的識(shí)別相對(duì)比較簡單，易于處理和分類。進(jìn)行字符識(shí)別可完成諸如文本和數(shù)據(jù)的自動(dòng)閱讀、語言處理和機(jī)

102、器翻譯、郵件自動(dòng)分揀、識(shí)別銀行支票等復(fù)雜工作，極大的方便人們的生活。目前，文字識(shí)別一般是識(shí)別字母、數(shù)字、符號(hào)、漢字；按所識(shí)別的字體來分有印刷體文字識(shí)別、手寫體文字識(shí)別及符號(hào)的識(shí)別系統(tǒng)。本文主要介紹在手寫體數(shù)字識(shí)別中采用的方法和取得的結(jié)果。</p><p>　　一般來說, 字符識(shí)別系統(tǒng)主要包括圖象采集、信號(hào)預(yù)處理、特征抽取、分類識(shí)別等幾個(gè)部分。識(shí)別系統(tǒng)的識(shí)別方式可分為聯(lián)機(jī)手寫體字符識(shí)別、脫機(jī)印刷體字符識(shí)別和脫機(jī)手寫

103、體字符識(shí)別等, 其中脫機(jī)手寫體字符由于書寫者的因素,使其字符圖象的隨意性很大, 例如, 比劃的粗細(xì)、字體的大小、手寫體的傾斜度、字符比劃的局部扭曲變形、字體灰度的差異等都直接影響到字符的正確識(shí)別。所以手寫體字符的識(shí)別是字符識(shí)別領(lǐng)域內(nèi)最具挑戰(zhàn)性的課題。在經(jīng)濟(jì)、科技、社會(huì)生活各領(lǐng)域的信息傳遞中，各種通信、財(cái)金、科技等文件文本中有大量手寫體阿拉伯?dāng)?shù)字。為了不用手工敲鍵而能快速輸入計(jì)算機(jī)進(jìn)行自動(dòng)化處理，就要對(duì)手寫體數(shù)字進(jìn)行計(jì)算機(jī)自動(dòng)識(shí)別。<

104、;/p><p>　　4.2.2手寫體數(shù)字識(shí)別的主要方法</p><p>　　文字識(shí)別按其方法，大致可分為統(tǒng)計(jì)決策法、句法結(jié)構(gòu)法、模糊決策法、人工智能法、模板匹配法等。下面對(duì)部分方法予以簡單介紹。</p><p><b>　　1．模板匹配法</b></p><p>　　模板匹配法即對(duì)每個(gè)待識(shí)別的類別所給出的識(shí)別標(biāo)準(zhǔn)是典型的標(biāo)準(zhǔn)

105、模板。此類方法的重點(diǎn)是規(guī)定各類模板的特征(例如規(guī)定模板中黑色面積值為特征) ，求得待識(shí)別樣本的特征值，并求出它與標(biāo)準(zhǔn)模板的差值，若差值小于規(guī)定的閾值(即與此模板“匹配”) 即判為屬于該模板相應(yīng)的字。待識(shí)別樣本的特征可不止一個(gè)，它們可作為一個(gè)向量中的各元而組成特征向量。這類方法適宜印刷體符號(hào)、文字等的識(shí)別。</p><p><b>　　2．統(tǒng)計(jì)決策法</b></p><p&

106、gt;　　在有些識(shí)別問題中，不易給出一典型的模板，而只能給出一批彼此間有相當(dāng)差異的模板(或稱學(xué)習(xí)字樣) ，用統(tǒng)計(jì)的方法推出識(shí)別標(biāo)準(zhǔn)，并根據(jù)它來判別類別，此稱為統(tǒng)計(jì)決策法。例如待識(shí)別的是手寫體數(shù)字7 和8 ，由于屬于手寫，可能出現(xiàn)多種形狀，將這些在變形范圍之內(nèi)的字形搜集起來可以作為推出識(shí)別標(biāo)準(zhǔn)的資料，即供識(shí)別設(shè)備學(xué)習(xí)的樣本。</p><p><b>　　3．句法結(jié)構(gòu)法</b></p>

107、;<p>　　句法方法，其識(shí)別標(biāo)準(zhǔn)是代表待識(shí)別對(duì)象的“符號(hào)串”之間的聯(lián)系規(guī)律，或稱為文法律。將字樣按照一定的規(guī)律作折線化處理，分解為有順序的折線段，并把每個(gè)折線段都附上一定的方向值，便可把字樣用符號(hào)串來表示。由于在書寫上有一定的變形，不同的符號(hào)串可能代表同一字類，所以要識(shí)別某一字類，便應(yīng)了解所有代表此字的符號(hào)串之間所存在的聯(lián)系規(guī)則，即句法規(guī)律或文法律。</p><p><b>　　4．直接

108、邏輯法</b></p><p>　　對(duì)于有些識(shí)別問題，所給出的識(shí)別標(biāo)準(zhǔn)是一批特征值之間的分類條件式，根據(jù)這些條件式可以編制出供判決用的表格，再將此表化成一系列簡單的子表或與它們等效的能表示判決過程的判決樹，此即為直接邏輯法。根據(jù)子表系列或判決樹很容易編寫判決(識(shí)別) 所用的計(jì)算機(jī)程序，用以判類。</p><p><b>　　5．綜合識(shí)別法</b></

109、p><p>　　手寫數(shù)字多種識(shí)別方法的綜合是將不同識(shí)別方法的結(jié)果經(jīng)某種算法進(jìn)行綜合，以提高識(shí)別率和可靠率。</p><p>　　手寫數(shù)字綜合智能識(shí)別系統(tǒng)結(jié)構(gòu)框圖如圖4－2所示。</p><p>　　圖4－2 　手寫數(shù)字綜合智能識(shí)別系統(tǒng)結(jié)構(gòu)框圖</p><p>　　4.2.3手寫數(shù)字識(shí)別的一般方法及其難點(diǎn)</p><p>　

110、　字符識(shí)別問題的研究已有幾十年的歷史了，但時(shí)至今日，字符識(shí)別的研究成果遠(yuǎn)未達(dá)到人們所期望的，這其中有理論研究和技術(shù)實(shí)現(xiàn)等多方面因素. 在理論方面，我們對(duì)人類的視覺認(rèn)知機(jī)理的研究還只是初步的，遠(yuǎn)未達(dá)到深入和透徹的水平。在技術(shù)方面，我們使用的計(jì)算機(jī)的運(yùn)算水平和存儲(chǔ)能力， 比起人腦的信息存儲(chǔ)和處理能力有很大差距. 因此，目前的文字識(shí)別只能建立在現(xiàn)有的理論基礎(chǔ)上，使用現(xiàn)有的技術(shù)來研究和解決問題。手寫體數(shù)字識(shí)別是字符識(shí)別的一個(gè)分支，問題雖然簡單，

111、但卻有較大的實(shí)用價(jià)值。</p><p>　　數(shù)字的類別只有10 種，筆劃又簡單，其識(shí)別問題表面上是一個(gè)較簡單的分類問題。但實(shí)際上，雖然各種新的識(shí)別算法不斷的推出。其識(shí)別率和誤識(shí)率仍距實(shí)用有相當(dāng)距離。手寫阿拉伯?dāng)?shù)字具有變形多差異大的特點(diǎn)，字形與書寫人的職業(yè)、文化程度、書寫習(xí)慣以及所使用筆墨紙張所處環(huán)境等都有關(guān)，所以手寫體數(shù)字變形多、規(guī)律復(fù)雜。具體地說： </p><p>　　1．0～ 9 十