神經(jīng)元傳輸函數(shù)和網(wǎng)絡(luò)噪音對(duì)聯(lián)想記憶反饋網(wǎng)絡(luò)動(dòng)力學(xué)特性的影響.pdf

1、反饋神經(jīng)網(wǎng)絡(luò)的突出特點(diǎn)是具有聯(lián)想記憶功能，易于硬件實(shí)現(xiàn)，因此在諸多領(lǐng)域得到非常廣泛的應(yīng)用。同時(shí)，反饋神經(jīng)網(wǎng)絡(luò)作為一類典型的高維非線性動(dòng)力學(xué)系統(tǒng)，引起了非線性動(dòng)力學(xué)領(lǐng)域的科研工作者的高度關(guān)注。一方面，我們可以應(yīng)用非線性動(dòng)力學(xué)近年來(lái)的研究成果理解網(wǎng)絡(luò)的特性、提高網(wǎng)絡(luò)的功能，另一方面，反饋網(wǎng)絡(luò)本身具有豐富的動(dòng)力學(xué)特性和現(xiàn)象，因而為這一領(lǐng)域提供了一個(gè)研究高維動(dòng)力學(xué)系統(tǒng)復(fù)雜行為的典型模型。 本學(xué)位論文從反饋神經(jīng)網(wǎng)絡(luò)的吸引子所對(duì)應(yīng)的局域場(chǎng)分

2、布入手來(lái)研究網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)性能之間的關(guān)聯(lián)性，表明網(wǎng)絡(luò)的特性主要決定于記憶模式吸引子的局域場(chǎng)分布，同時(shí)也會(huì)受到神經(jīng)元傳輸函數(shù)的影響，而傳輸函數(shù)的影響效果又和局域場(chǎng)分布密切相關(guān)。本文重點(diǎn)研究?jī)煞N反饋網(wǎng)絡(luò)，一類是基于Hebb規(guī)則設(shè)計(jì)的Hopfield神經(jīng)網(wǎng)絡(luò)，另一類是基于最近提出的一套設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的整體規(guī)則[Zhao，Phys．Rev．E，70，066137(2004)]。兩種網(wǎng)絡(luò)中，記憶模式吸引子的局域場(chǎng)和偽記憶模式吸引子的局域場(chǎng)分布在不同

3、的區(qū)域，但重疊程度各不相同，根據(jù)這一現(xiàn)象，提出了傳輸函數(shù)以及隨機(jī)噪音影響網(wǎng)絡(luò)性能的機(jī)制。研究結(jié)果表明，連續(xù)傳輸函數(shù)的應(yīng)用的確如以前的研究者發(fā)現(xiàn)的那樣可以在一定程度上消除網(wǎng)絡(luò)的偽吸引子，但是消除并不徹底；消除偽吸引子的根本方法還在于利用整體設(shè)計(jì)方法控制記憶模式吸引子對(duì)應(yīng)的局域場(chǎng)的分布，只要分布合適，偽吸引子就可以完全不出現(xiàn)。一般認(rèn)為連續(xù)傳輸函數(shù)中增益因子的作用和溫度，也就是和網(wǎng)絡(luò)中的隨機(jī)噪音具有一定的相似性，有些研究者雖然也指出了兩者的不

4、同，但是詳細(xì)的分析和機(jī)制并未搞清楚。本論文的另一個(gè)重點(diǎn)是詳細(xì)分析增益因子和噪音起作用的方式，搞清楚了它們的相同和不同之處，并因此指出如何更好地利用噪音改善網(wǎng)絡(luò)的性能。同時(shí)，為了深入理解網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)性能的聯(lián)系，本文也研究了網(wǎng)絡(luò)權(quán)值矩陣本征值譜在特定的設(shè)計(jì)規(guī)則下隨設(shè)計(jì)參數(shù)的變化情況，比較了本征值譜與隨機(jī)矩陣本征值譜的偏離。本文各章安排如下： 第一章簡(jiǎn)要介紹了神經(jīng)網(wǎng)絡(luò)的研究背景，包括神經(jīng)網(wǎng)絡(luò)的起源、發(fā)展、類型，以及對(duì)神經(jīng)網(wǎng)絡(luò)理論研究

5、作出顯著貢獻(xiàn)的一些物理學(xué)家的工作，如Gardner， Little等人的工作做了簡(jiǎn)要介紹。 第二章詳細(xì)介紹了兩種具有聯(lián)想記憶的反饋神經(jīng)網(wǎng)絡(luò)，一種是著名的Hopfield網(wǎng)絡(luò)，另外一種是最近由趙鴻教授提出的整體優(yōu)化網(wǎng)絡(luò)，介紹了兩種方法的具體實(shí)現(xiàn)算法以及這兩種網(wǎng)絡(luò)的一些主要特性和動(dòng)力學(xué)行為。 第三章研究連續(xù)傳輸函數(shù)對(duì)聯(lián)想記憶反饋神經(jīng)網(wǎng)絡(luò)功能的影響。給出了不同規(guī)則設(shè)計(jì)下記憶模式吸引子和偽吸引子對(duì)應(yīng)的局域場(chǎng)分布，提出局域場(chǎng)分布特

6、征決定神經(jīng)元傳輸函數(shù)的作用，給出傳輸函數(shù)影響網(wǎng)絡(luò)性能和動(dòng)力學(xué)行為的機(jī)制。 第四章研究噪音對(duì)聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)功能的影響。在神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)演化方程中加入噪音來(lái)考察網(wǎng)絡(luò)的動(dòng)力學(xué)特性以及功能的改善，說(shuō)明噪音的作用取決于兩種吸引子也就是記憶模式吸引子和偽吸引子對(duì)應(yīng)的局域場(chǎng)分布，同時(shí)給出如何利用噪音提高和改善網(wǎng)絡(luò)的性能。 第五章研究神經(jīng)網(wǎng)絡(luò)中的本征值譜。由于加入設(shè)計(jì)信息，使得網(wǎng)絡(luò)的權(quán)值矩陣對(duì)隨機(jī)矩陣有偏離，因此其本征值譜也表現(xiàn)出一些