人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論幻燈版

1、第 1 章 緒論 緒論1.1 1.1 從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò) 從生物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò) 在你閱讀本書時(shí),你就用到了一個(gè)復(fù)雜的生物神經(jīng)網(wǎng)絡(luò),大約有 1011 個(gè)相互連接的神經(jīng)元幫助你進(jìn)行閱讀、呼吸、思考、完成各種動作等,部分神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能是與生 具有的,比如支配呼吸、哭、吮吸等本能動作的功能;而大多數(shù)的功能需要通過后天的學(xué)習(xí)才能獲得。雖然人們還并不完全清楚生物神經(jīng)網(wǎng)絡(luò)是如何進(jìn)行工作的,但幻想構(gòu)造一些“人工神經(jīng)元”,進(jìn)而將

2、它們以某種方式連接起來,可以模擬“人腦”的某些功能。這就是本書所要討論的“人工神經(jīng)網(wǎng)絡(luò)”。1.2 1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史人工神經(jīng)網(wǎng)絡(luò)(artificial neural network ,ANN)的發(fā)展經(jīng)歷了大約半個(gè)世紀(jì),從 20 世紀(jì) 40 年代初到 80 年代,神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了低潮與高潮幾起幾落的發(fā)展過程。早在1943 年,心理學(xué)家 W.McCulloch 和數(shù)學(xué)家 W. Pitts 合作,從數(shù)理

3、邏輯的角度,提出了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)模型(McCulloch-Pitts , MP 模型),標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究的開始。1958 年,F.Rosenblatt 首次引進(jìn)了模擬人腦感知和學(xué)習(xí)能力的感知器(perceptron )概念,引起了人們的極大興趣。感知器由簡單的閾值性神經(jīng)元構(gòu)成,初步具備了諸如學(xué)習(xí)、并行處理、分布存儲等神經(jīng)網(wǎng)絡(luò)的一些基本特征,從而確立了從系統(tǒng)角度進(jìn)行人工神經(jīng)網(wǎng)絡(luò)研究的基礎(chǔ)。1960 年,B.Widrow 和

4、M.Hoff 提出了主要適用于自適應(yīng)系統(tǒng)的自適應(yīng)線性元件(ADAptive LINear NEuron , ADALINE )網(wǎng)絡(luò),采用了比感知器更復(fù)雜的學(xué)習(xí)程序。Widrow -Hoff 技術(shù)被稱為最小均方誤差(least mean square,LMS)學(xué)習(xí)規(guī)則。從此神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)人了第一個(gè)高潮期。1969 年,美國麻省理工學(xué)院著名的人工智能專家 M.Minsky 和 S.Papert 出版了頗有影響的 PercePtron 一書

5、,從數(shù)學(xué)上剖析了簡單神經(jīng)網(wǎng)絡(luò)的功能和局限性,并且指出多層感 知器還不能找到有效的計(jì)算方法,由于 M . Minsky 在學(xué)術(shù)界的地位和影響,其悲觀的結(jié)論, 被大多數(shù)人不做進(jìn)一步分析而接受;加之當(dāng)時(shí)以邏輯推理為研究基礎(chǔ)的人工智能和數(shù)字計(jì)算機(jī)的輝煌成就,大大降低了人們對神經(jīng)網(wǎng)絡(luò)研究的熱情,故使神經(jīng)網(wǎng)絡(luò)的研究在其后的 若于年內(nèi)處于低潮。1972 年 T.Kohonen 和 J.Anderson 不約而同地提出具有聯(lián)想記憶功能的新神經(jīng)網(wǎng)

6、絡(luò);1976 年,S.Grossberg 與 G.A .Carpenter 提出了自適應(yīng)共振理論(adaptive resonance theory.ART ) ,并在以后的若干年內(nèi)發(fā)展了 ART1 , ART2 , ART3 這 3 種神經(jīng)網(wǎng)絡(luò)模型,從而 為神經(jīng)網(wǎng)絡(luò)研究的發(fā)展奠定了理論基礎(chǔ)。進(jìn)人 20 世紀(jì) 80 年代,特別是 80 年代末期,對神經(jīng)網(wǎng)絡(luò)的研究從復(fù)興很快轉(zhuǎn)人了新的 熱潮。這主要是因?yàn)椋阂环矫娼?jīng)過

7、十幾年迅速發(fā)展的以邏輯符號處理為主的人工智能理論和馮· 諾依曼(von Neumann )計(jì)算機(jī)在處理諸如視覺、聽覺、形象思維、聯(lián)想記憶等設(shè)備保險(xiǎn)業(yè) 政策應(yīng)用評估,產(chǎn)出最優(yōu)化制造業(yè) 制造業(yè)過程控制、產(chǎn)品設(shè)計(jì)與分析、過程與機(jī)器診斷、實(shí)時(shí)微 粒識別、可視化質(zhì)量檢測系統(tǒng)、焊接質(zhì)量分析、紙質(zhì)預(yù)測、計(jì)算機(jī)芯片質(zhì)量分析、化學(xué)產(chǎn)品設(shè)計(jì)分析、機(jī)器保養(yǎng)分析、工程 投標(biāo)、經(jīng)營與管理、化學(xué)處理系統(tǒng)的動態(tài)建模等醫(yī)藥 乳腺癌細(xì)胞分析,EFG 和 ECG

8、 分析,假休設(shè)計(jì)．移植時(shí)間最優(yōu)化,降低醫(yī)療費(fèi)用支出,提高醫(yī)療質(zhì)量石油天然氣勘探機(jī)器人技術(shù)行走路線控制、鏟車機(jī)器人、操縱控制器、視覺系統(tǒng)等語音 語音識別、語音壓縮、元音分類、文本一語音合成等有價(jià)證券 市場分析、自動債券評級、股票交易咨詢系統(tǒng)等電信業(yè) 圖像與數(shù)據(jù)壓縮、自動信息服務(wù)、實(shí)時(shí)語言翻譯、用戶付費(fèi)處理系統(tǒng)等交通 卡車剎車診斷系統(tǒng)、車輛調(diào)度、行程安排系統(tǒng)等神經(jīng)網(wǎng)絡(luò)比較善長的應(yīng)用領(lǐng)域如下。(l)模式識別神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練可有效地提取信號、語

9、音、圖像、雷達(dá)、聲納等感知模式的特征,并能解決現(xiàn)有啟發(fā)式模式識別系統(tǒng)不能很好解決的不變量探測、自適應(yīng)、抽象或概括等問題。這方面的主要應(yīng)用有：圖形、符號、手寫體及語音識別,雷達(dá)及聲納等目標(biāo)識別,藥物構(gòu)效關(guān)系等化學(xué)模式信息辨識,機(jī)器人視覺、聽覺,各種最近相鄰模式聚類及識別分類,遙感、沃學(xué)匡像分析,計(jì)算機(jī)視覺、計(jì)算機(jī)輸入裝置等。神經(jīng)網(wǎng)絡(luò)可應(yīng)用于模式識別 的各個(gè)環(huán)節(jié)：特征接取、聚類分析、邊緣檢測、信號增強(qiáng)、噪聲抑制、數(shù)據(jù)壓縮以及各種變換、分類判

10、決等。(2)人工智能專家系統(tǒng)是人工智能領(lǐng)域研究時(shí)間最長,應(yīng)用最成功的技術(shù),但人們在應(yīng)用專家系統(tǒng)解決諸如語音識別、圖像處理和機(jī)器人控制等這類類似于人腦的形象思維的問題時(shí),卻遇 到很大的困難。神經(jīng)網(wǎng)絡(luò)的問世為人工智能開辟了一條嶄新的途徑,成為人工智能研究領(lǐng) 域中的后起之秀,它具有的自學(xué)習(xí)能力是傳統(tǒng)專家系統(tǒng)望塵莫及的。神經(jīng)網(wǎng)絡(luò)技術(shù)能對不完整信息進(jìn)行補(bǔ)全,根據(jù)已學(xué)會的知識和處理問題的經(jīng)驗(yàn)對復(fù)雜問題作出合理的判斷決 策,給出較滿意的解答,或?qū)ξ磥?/p>

11、過程作出有效的預(yù)測和估計(jì),從而使之在人工智能領(lǐng)域獲得廣泛的應(yīng)用。這方面的主要應(yīng)用有：自然語言處理、市場分析、預(yù)測估值、系統(tǒng)診 斷、事故檢查、密碼破譯、語言翻譯、邏輯推理、知識表達(dá)、智能機(jī)器人、模糊評判 等。(3)控制工程神經(jīng)網(wǎng)絡(luò)在諸如機(jī)器人運(yùn)動控制、工業(yè)生產(chǎn)中的過程控制等復(fù)雜控制問題方面有獨(dú)到之處。較之基于傳統(tǒng)數(shù)字計(jì)算機(jī)的離散控制方式,神經(jīng)網(wǎng)絡(luò)更適宜于組成快速實(shí)時(shí)自適 應(yīng)控制系統(tǒng)。這方面的主要應(yīng)用有：多變量自適應(yīng)控制、變結(jié)構(gòu)優(yōu)化控制、并