bp 工具箱的使用指南

1、1Matlab的神經(jīng)網(wǎng)絡(luò)工具箱實(shí)用指南作者：夏寒發(fā)布時(shí)間：20001109文章摘要:第一章是神經(jīng)網(wǎng)絡(luò)的基本介紹，第二章包括了由工具箱指定的有關(guān)網(wǎng)絡(luò)結(jié)構(gòu)和符號(hào)的基本材料以及建立神經(jīng)網(wǎng)絡(luò)的一些基本函數(shù)，例如new、init、adapt和train。第三章以反向傳播網(wǎng)絡(luò)為例講解了反向傳播網(wǎng)絡(luò)的原理和應(yīng)用的基本過(guò)程。MatlabMatlab的神經(jīng)網(wǎng)絡(luò)工具箱實(shí)用指南的神經(jīng)網(wǎng)絡(luò)工具箱實(shí)用指南第一章第一章介紹介紹1神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是單個(gè)并行處

2、理元素的集合，我們從生物學(xué)神經(jīng)系統(tǒng)得到啟發(fā)。在自然界，網(wǎng)絡(luò)功能主要由神經(jīng)節(jié)決定，我們可以通過(guò)改變連接點(diǎn)的權(quán)重來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)完成特定的功能。一般的神經(jīng)網(wǎng)絡(luò)都是可調(diào)節(jié)的，或者說(shuō)可訓(xùn)練的，這樣一個(gè)特定的輸入便可得到要求的輸出。如下圖所示。這里，網(wǎng)絡(luò)根據(jù)輸出和目標(biāo)的比較而調(diào)整，直到網(wǎng)絡(luò)輸出和目標(biāo)匹配。作為典型，許多輸入目標(biāo)對(duì)應(yīng)的方法已被用在有監(jiān)督模式中來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)已經(jīng)在各個(gè)領(lǐng)域中應(yīng)用，以實(shí)現(xiàn)各種復(fù)雜的功能。這些領(lǐng)域包括：模式識(shí)別、鑒

3、定、分類、語(yǔ)音、翻譯和控制系統(tǒng)。如今神經(jīng)網(wǎng)絡(luò)能夠用來(lái)解決常規(guī)計(jì)算機(jī)和人難以解決的問(wèn)題。我們主要通過(guò)這個(gè)工具箱來(lái)建立示范的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，并應(yīng)用到工程、金融和其他實(shí)際項(xiàng)目中去。一般普遍使用有監(jiān)督訓(xùn)練方法，但是也能夠通過(guò)無(wú)監(jiān)督的訓(xùn)練方法或者直接設(shè)計(jì)得到其他的神經(jīng)網(wǎng)絡(luò)。無(wú)監(jiān)督網(wǎng)絡(luò)可以被應(yīng)用在數(shù)據(jù)組的辨別上。一些線形網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)是直接設(shè)計(jì)的?？偟膩?lái)說(shuō)，有各種各樣的設(shè)計(jì)和學(xué)習(xí)方法來(lái)增強(qiáng)用戶的選擇。神經(jīng)網(wǎng)絡(luò)領(lǐng)域已經(jīng)有50年的歷史了，但是

4、實(shí)際的應(yīng)用卻是在最近15年里，如今神經(jīng)網(wǎng)絡(luò)仍快速發(fā)展著。因此，它顯然不同與控制系統(tǒng)和最優(yōu)化系統(tǒng)領(lǐng)域，它們的術(shù)語(yǔ)、數(shù)學(xué)理論和設(shè)計(jì)過(guò)程都已牢固的建立和應(yīng)用了好多年。我們沒(méi)有把神經(jīng)網(wǎng)絡(luò)工具箱僅看作一個(gè)能正常運(yùn)行的建好的處理輪廓。我們寧愿希望它能成為一個(gè)有用的工業(yè)、教育和研究工具，一個(gè)能夠幫助用戶找到什么能夠做什么不能做的工具，一個(gè)能夠幫助發(fā)展和拓寬神經(jīng)網(wǎng)絡(luò)領(lǐng)域的工具。因?yàn)檫@個(gè)領(lǐng)域和它的材料是如此新，這個(gè)工具箱將給我們解釋處理過(guò)程，講述怎樣運(yùn)用

5、它們，并且舉例說(shuō)明它們的成功和失敗。我們相信要成功和滿意的使用這個(gè)工具箱，對(duì)范例和它們的應(yīng)用的理解是很重要的，并且如果沒(méi)有這些說(shuō)明那么用戶的埋怨和質(zhì)詢就會(huì)把我們淹沒(méi)。所以如果我們包括了大量的說(shuō)明性材料，請(qǐng)保持耐心。我們希望這些材料能對(duì)你有幫助。這個(gè)章節(jié)在開(kāi)始使用神經(jīng)網(wǎng)絡(luò)工具箱時(shí)包括了一些注釋，它也描述了新的圖形用戶接口和新的運(yùn)算3這個(gè)輸入標(biāo)量通過(guò)乘以權(quán)重為標(biāo)量w的連結(jié)點(diǎn)得到結(jié)果wp，這仍是一個(gè)標(biāo)量。這里，加權(quán)的輸入wp僅僅是轉(zhuǎn)移函數(shù)f的

6、參數(shù)，函數(shù)的輸入是標(biāo)量a。右邊的神經(jīng)元有一個(gè)標(biāo)量偏置b，你既可以認(rèn)為它僅僅是通過(guò)求和節(jié)點(diǎn)加在結(jié)果wp上，也可以認(rèn)為它把函數(shù)f左移了b個(gè)單位，偏置除了有一個(gè)固定不變的輸入值1以外，其他的很像權(quán)重。標(biāo)量n是加權(quán)輸入wp和偏置b的和，它作為轉(zhuǎn)移函數(shù)f的參數(shù)。函數(shù)f是轉(zhuǎn)移函數(shù)，它可以為階躍函數(shù)或者曲線函數(shù)，它接收參數(shù)n給出輸出a，下一節(jié)將給出各種不同的轉(zhuǎn)移函數(shù)。注意神經(jīng)元中的w和b都是可調(diào)整的標(biāo)量參數(shù)。神經(jīng)網(wǎng)絡(luò)的中心思想就是參數(shù)的可調(diào)整使得網(wǎng)絡(luò)

7、展示需要和令人感興趣的行為。這樣，我們就可以通過(guò)調(diào)整權(quán)重和偏置參量訓(xùn)練神經(jīng)網(wǎng)絡(luò)做一定的工作?；蛘呱窠?jīng)網(wǎng)絡(luò)自己調(diào)整參數(shù)以得到想要的結(jié)果。在這個(gè)工具箱里所有的神經(jīng)元都提供偏置，我們的許多例子中都用到了偏置并且假定它在這個(gè)工具箱的大多數(shù)情況下都要用到?？墒牵绻阍敢獾脑?，你也可以在一個(gè)神經(jīng)元中省略偏置。正如上面所提到的，在神經(jīng)元中，標(biāo)量b是個(gè)可調(diào)整的參數(shù)。它不是一個(gè)輸入?？墒球?qū)動(dòng)偏置的常量1卻是一個(gè)輸入而且當(dāng)考慮線性輸入向量時(shí)一定要這樣認(rèn)為

8、。轉(zhuǎn)移函數(shù)在這個(gè)工具箱里包括了許多轉(zhuǎn)移函數(shù)。你能在“TransferFunctionGraphs“中找到它們的完全列表。下面列出了三個(gè)最常用的函數(shù)。上圖所示的階躍轉(zhuǎn)移函數(shù)限制了輸出，使得輸入?yún)?shù)小于0時(shí)輸出為0，大于或等于0時(shí)輸出為1，在第三章中我們將用它來(lái)進(jìn)行分類。工具箱中有一個(gè)函數(shù)hardlim來(lái)數(shù)學(xué)上的階躍，如上圖所示。我們可以輸入以下代碼n=5:0.1:5plot(nhardlim(n)c:)它產(chǎn)生一張?jiān)?到5之間的階躍函數(shù)圖。