清華大學(xué)本科畢業(yè)論文

1、第1章概論1.1計(jì)算機(jī)、生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)作為人工智能的一個(gè)分支，在近二十年來，受到人們的廣泛關(guān)注。工業(yè)革命以來，人類大量采用機(jī)器來減輕人們的體力勞動，并獲得了巨大的效益。同樣，人類為了通過使用某種機(jī)器來減輕人類的腦力勞動，也一直進(jìn)行著不懈的努力。到了20世紀(jì)40年代，由于計(jì)算機(jī)的發(fā)明，使得人類的文明進(jìn)入到計(jì)算機(jī)時(shí)代。通過使用計(jì)算機(jī)，人們可以解決科學(xué)計(jì)算和工程設(shè)計(jì)中的一些復(fù)雜的問題，在一定程度上減輕了人們的腦力勞動。然而

2、，計(jì)算機(jī)需要在人們事先編制好的程序的指揮下才能工作，從這個(gè)意義上講，計(jì)算機(jī)并沒有真正意義上的智能。目前，計(jì)算機(jī)的主要應(yīng)用仍然是信息處理和科學(xué)計(jì)算，對于智能計(jì)算，像分析、推理、判斷、綜合等方面，現(xiàn)代計(jì)算機(jī)仍然顯得能力低下。因此，智能計(jì)算機(jī)的開發(fā)研究成了一個(gè)十分引人關(guān)注的問題，科學(xué)家們也為此投入了巨大的研究熱情，一些發(fā)達(dá)國家也投入大量的人力物力來開發(fā)智能計(jì)算機(jī)。然而，由于人類對于智能的理解還十分膚淺，開發(fā)智能計(jì)算機(jī)也遇到了巨大的挑戰(zhàn)，可以說

3、，到目前為止，智能計(jì)算機(jī)還僅僅是一個(gè)夢想。揭開智能之謎還需要進(jìn)行大量的研究，這里面涉及到諸多方面的理論知識，包括計(jì)算機(jī)理論、信息處理、語言學(xué)、認(rèn)知科學(xué)、數(shù)學(xué)、生理學(xué)、解剖學(xué)、哲學(xué)等方面的知識。因此，智能計(jì)算機(jī)的發(fā)展還需有一個(gè)相當(dāng)漫長的過程。在應(yīng)用方面，對于智能計(jì)算和智能計(jì)算機(jī)的發(fā)展也是非常迫切的。例如，一些危險(xiǎn)行業(yè)以及惡劣的工作環(huán)境，人們需要機(jī)器人來幫助工作，然而，機(jī)器人技術(shù)的發(fā)展離不開智能計(jì)算和智能計(jì)算機(jī)?？梢哉f，智能計(jì)算機(jī)在當(dāng)今人類

4、社會發(fā)展的進(jìn)程中，已經(jīng)被提到了議事日程，是當(dāng)今人類社會所面臨的一項(xiàng)迫切而又重大的科技問題。自從20世紀(jì)40年代人類發(fā)明計(jì)算機(jī)以來，可以說其發(fā)展速度一日千里。計(jì)算機(jī)改變了人們的生活方式，帶來了信息技術(shù)的革命。傳統(tǒng)計(jì)算機(jī)的存儲能力、計(jì)算速度的發(fā)展非常快，主要得益于硬件的發(fā)展。相對而言，計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展比較緩慢，基本上還是馮諾依曼體系。它只能在人的指揮下工作，沒有學(xué)習(xí)、創(chuàng)造等反映智能特征的能力。對于許多模式識別的問題，現(xiàn)代計(jì)算機(jī)的工作能力

5、和效率還遠(yuǎn)不如人。筆者認(rèn)為，智能計(jì)算及其發(fā)展需要突破傳統(tǒng)的馮諾依曼體系，建立新型的計(jì)算機(jī)體系結(jié)構(gòu)，當(dāng)然，任重道遠(yuǎn)，需要科學(xué)家們的不懈努力。智能計(jì)算的核心問題是關(guān)于人腦功能的模擬問題，這需要回答什么是智能、什么是計(jì)算、什么是智能計(jì)算等復(fù)雜的問題。然而，遺憾的是，人類對于這些問題尚缺乏深刻的認(rèn)識，還處在探索階段。盡管如此，人類并沒有在研究智能計(jì)算機(jī)的道路上止步不前，目前認(rèn)為，人類的大腦中的神經(jīng)元對于人腦的智能起著關(guān)鍵的作用，這些神經(jīng)元的數(shù)量

6、非常多，組成了十分復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論是以人腦的智能功能為研究對象，研究人類大腦的信息處理能力與方法，特別是研究與人類大腦的智能信息處理能力相關(guān)的信第1章概論3（或者說，準(zhǔn)確地“回想”起所學(xué)過的樣本）。（1）本書提出的代數(shù)算法在理論和應(yīng)用上能使代價(jià)函數(shù)為0。對BP（反向傳播）算法而言，通常代價(jià)函數(shù)大于0，這意味著代數(shù)算法的精度遠(yuǎn)高于BP算法。或者更確切地說，代數(shù)算法能準(zhǔn)確地獲得全局最優(yōu)點(diǎn)，而BP算法通常無法獲得全局最優(yōu)點(diǎn)

7、。（2）從時(shí)間復(fù)雜度上來看，代數(shù)算法無須迭代計(jì)算，是一種多項(xiàng)式階算法，而BP算法的時(shí)間復(fù)雜度目前尚未見到理論上的報(bào)道，但通過一些實(shí)驗(yàn)研究認(rèn)為其時(shí)間復(fù)雜度為指數(shù)階（見第3章）。多項(xiàng)式階算法的時(shí)間效率遠(yuǎn)優(yōu)于指數(shù)階算法，因而本書算法較BP算法要快得多，可求解問題的規(guī)模也要大得多。（3）從工程應(yīng)用上看，代數(shù)算法給出了隱層所需神經(jīng)元個(gè)數(shù)的準(zhǔn)確計(jì)算方法，而BP算法只能給出一些經(jīng)驗(yàn)數(shù)據(jù)，這意味著本書新方法在工程應(yīng)用中具有比BP算法優(yōu)越得多的指導(dǎo)作用。

8、綜上所述，可以認(rèn)為代數(shù)算法開辟了多層前饋人工神經(jīng)網(wǎng)絡(luò)算法的一個(gè)新領(lǐng)域，在理論和應(yīng)用上都具有重要的價(jià)值。另外，本書的另一個(gè)重要創(chuàng)新是對工程上常用的三層神經(jīng)網(wǎng)絡(luò)的極限逼近能力進(jìn)行了深入的分析，得出了一系列重要的結(jié)果。這些結(jié)果指出，必然存在代價(jià)函數(shù)最小值為0的三層神經(jīng)網(wǎng)絡(luò)（此時(shí)對應(yīng)的解為全局最優(yōu)解）；如果三層神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元個(gè)數(shù)固定（即為某一確定的不可調(diào)整的常數(shù)），則對一些給定的樣本，該三層神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)最小值將大于0，這意味著此時(shí)三

9、層神經(jīng)網(wǎng)絡(luò)的逼近精度是有限的，它不可能使神經(jīng)網(wǎng)絡(luò)以任意精度趨近于0。這一結(jié)論深刻地揭示了隱層神經(jīng)元個(gè)數(shù)的選擇將直接影響到三層神經(jīng)網(wǎng)絡(luò)的極限逼近能力，或者說，將直接影響到三層神經(jīng)網(wǎng)絡(luò)的全局最小代價(jià)函數(shù)值的大小。不僅如此，還給出了一個(gè)非常有實(shí)用價(jià)值的便于計(jì)算的估計(jì)公式。利用這一估計(jì)公式，可使網(wǎng)絡(luò)在訓(xùn)練之前就知道該網(wǎng)絡(luò)對給定訓(xùn)練樣本的極限逼近能力，這一結(jié)果對前饋網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)算法的停機(jī)準(zhǔn)則有重要的理論指導(dǎo)意義。以上的創(chuàng)新構(gòu)成了本書的核心與精華。

10、2樣條函數(shù)神經(jīng)網(wǎng)絡(luò)算法雖然代數(shù)算法克服了傳統(tǒng)算法的主要缺點(diǎn)（例如速度慢，難以求得全局最優(yōu)值，無法確定隱層神經(jīng)元個(gè)數(shù)等），但由于代數(shù)算法實(shí)現(xiàn)精確映射的一個(gè)充分條件是隱層神經(jīng)元的個(gè)數(shù)等于訓(xùn)練樣本的個(gè)數(shù)（見第3章），這使得當(dāng)訓(xùn)練的樣本數(shù)量很多時(shí)會使得神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元的個(gè)數(shù)太多，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜。另外，代數(shù)算法與傳統(tǒng)算法的共同缺點(diǎn)是訓(xùn)練后的權(quán)值是常數(shù)，難以反映樣本的內(nèi)在信息。為了克服代數(shù)算法的缺點(diǎn)，本書作者提出了樣條函數(shù)神經(jīng)網(wǎng)絡(luò)算法。樣

11、條函數(shù)神經(jīng)網(wǎng)絡(luò)算法首先改造了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與訓(xùn)練樣本個(gè)數(shù)無關(guān)。另外，樣條函數(shù)神經(jīng)網(wǎng)絡(luò)算法將常數(shù)權(quán)改成了權(quán)函數(shù)，即看成輸入樣本的函數(shù)，采用三次樣條函數(shù)來實(shí)現(xiàn)。這樣做將權(quán)與樣本之間建立起了聯(lián)系，可以反映訓(xùn)練樣本的信息。訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，其權(quán)函數(shù)可以很好地反映樣本的特征信息。樣條函數(shù)神經(jīng)網(wǎng)絡(luò)算法同樣可以實(shí)現(xiàn)代價(jià)函數(shù)為0的精確映射，能夠方便地求得全局最優(yōu)點(diǎn)。不僅如此，樣條函數(shù)神經(jīng)網(wǎng)絡(luò)算法還具有很好的泛化能力（見第6章）另