神經(jīng)網(wǎng)絡(luò)中的若干問(wèn)題研究.pdf

1、上世紀(jì)八十年代初，由于美國(guó)著名生物物理學(xué)家J．J．Hopfield教授的杰出工作，人工神經(jīng)網(wǎng)絡(luò)研究獲得了復(fù)蘇并很快推向高潮．此后，人工神經(jīng)網(wǎng)絡(luò)一直是科學(xué)和工程上的一個(gè)研究熱點(diǎn)．20多年來(lái)，人工神經(jīng)網(wǎng)絡(luò)研究取得了豐碩的成果，其應(yīng)用已經(jīng)深入到經(jīng)濟(jì)、軍事、工程、醫(yī)學(xué)、保險(xiǎn)、娛樂(lè)、以及科學(xué)的許多領(lǐng)域．由于人工神經(jīng)網(wǎng)絡(luò)固有的模擬大腦智能的屬性以及強(qiáng)大的計(jì)算能力，人工神經(jīng)網(wǎng)絡(luò)研究深深地吸引了國(guó)際上許多優(yōu)秀的科學(xué)家和一流的學(xué)術(shù)研究機(jī)構(gòu)．在Harvar

2、d大學(xué)，MIT，Boston大學(xué)等都有科學(xué)家從事神經(jīng)網(wǎng)絡(luò)方面的研究．另一方面，人工神經(jīng)網(wǎng)絡(luò)的研究成果不斷在許多國(guó)際一流學(xué)術(shù)刊物，如《Science》，《Nature》，《IEEE Trans．Neural Networks》等上發(fā)表．所有這些均表明了人工神經(jīng)網(wǎng)絡(luò)具有十分重要的科學(xué)地位． 本論文研究人工神經(jīng)網(wǎng)絡(luò)中十分重要和具有廣泛應(yīng)用的三個(gè)方面的問(wèn)題：1．主分量分析(PCA)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法；2．支持向量機(jī)(SVM)；3．一類回復(fù)

3、式神經(jīng)網(wǎng)絡(luò)的輸出收斂性．全文共分三個(gè)部分． 第一部分研究PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．PCA是一種統(tǒng)計(jì)學(xué)習(xí)方法，在信號(hào)處理，模式識(shí)別，數(shù)字圖像處理等領(lǐng)域具有非常廣泛的應(yīng)用．傳統(tǒng)的數(shù)學(xué)方法如QR分解和SVD應(yīng)用于PCA肘遇到的主要困難在于需要大量的計(jì)算而且不能用于在線計(jì)算．PCA神經(jīng)網(wǎng)絡(luò)方法克服了傳統(tǒng)方法所具有的缺點(diǎn)，特別適合于在線計(jì)算，從而具有廣泛的應(yīng)用領(lǐng)域． PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是PCA神經(jīng)網(wǎng)絡(luò)最重要的組成部分．迄今，科學(xué)

4、工作們已提出了多種PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，其中Oja的PCA學(xué)習(xí)算法，Xu的LMSER PCA學(xué)習(xí)算法，推廣的Hebbiaa PCA學(xué)習(xí)算法(GHA)等尤其影響深遠(yuǎn)．在PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中，收斂性是算法的最重要的性質(zhì)之一，它決定了算法能否真正在實(shí)際中獲得應(yīng)用．較長(zhǎng)時(shí)間來(lái)，確定性連續(xù)時(shí)間方法(DCT)一直是分析PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的重要工具．近些年的研究表明，DCT方法獲得的結(jié)果是不適用的．最近提出的確定性離散時(shí)間方法，即DDT方法

5、，被認(rèn)為是一種分析PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的更有效但也是更難的方法．本部分采用DDT方法對(duì)PCA神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性進(jìn)行深入研究．主要研究?jī)?nèi)容有：(1)應(yīng)用確定性離散時(shí)間(DDT)方法，分析了Xu的LMSER PCA學(xué)習(xí)算法的收斂性．建立了該算法的一個(gè)不變集和最終界，并嚴(yán)格證明了其局部收斂性．(2)提出了一種自適應(yīng)的學(xué)習(xí)速率，保證了Oja的PCA學(xué)習(xí)算法的全局收斂性，加速了算法的學(xué)習(xí)過(guò)程．并應(yīng)用DDT方法嚴(yán)格證明了其全局收斂性．(3)

6、GHA算法是被廣泛使用的計(jì)算多個(gè)主分量方向的算法．然而，離散的GHA算法的收斂性分析是比較困難的．通過(guò)用DDT方法，嚴(yán)格證明了GHA在自適應(yīng)性學(xué)習(xí)速率下的離散算法的全局收斂性．(4)通過(guò)自適應(yīng)性地逼近數(shù)據(jù)集的實(shí)質(zhì)維，提出了一種改進(jìn)的GHA算法．原有的GHA算法必須事先確定要計(jì)算的主分量方向的數(shù)量，這在實(shí)際中是不現(xiàn)實(shí)的，對(duì)于在線計(jì)算尤其如此．使用改進(jìn)的算法，主分量方向數(shù)量能根據(jù)要求的精度自適應(yīng)的收斂到數(shù)據(jù)集的實(shí)質(zhì)維．因此，這個(gè)算法特別適合

7、于在線計(jì)算．(5)分析了PCA，MCA算法的混沌現(xiàn)象，獲得了產(chǎn)生混沌的條件．(6)應(yīng)用PCA神經(jīng)網(wǎng)絡(luò)于醫(yī)學(xué)圖像配準(zhǔn)．提出了通過(guò)簡(jiǎn)單地對(duì)齊圖像的第一主分量方向和質(zhì)心來(lái)實(shí)現(xiàn)圖像快速配準(zhǔn)的方法． 第二部分研究支持向量機(jī)(SVM)所面臨的大數(shù)據(jù)樣本問(wèn)題和對(duì)噪聲的敏感性問(wèn)題．SVM在解決小樣本，非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)．因而，SVM獲得了廣泛的應(yīng)用．然而在處理大數(shù)據(jù)樣本的時(shí)候，因?yàn)橛?jì)算的復(fù)雜性，不但傳統(tǒng)的優(yōu)化方法不能

8、使用，而且SVM學(xué)習(xí)過(guò)程非常緩慢．本部分提出兩種方法來(lái)解決這個(gè)問(wèn)題．一是改進(jìn)了序列最小優(yōu)化(SMO)分解算法，簡(jiǎn)化了其最小化過(guò)程，并分析了其收斂性．二是提出了用脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)研究SVM的新方法．通過(guò)PCNN來(lái)選擇一個(gè)幾乎包括所有支持向量的樣本子集作為候選的支持向量子集，把原始問(wèn)題轉(zhuǎn)化成一個(gè)小的優(yōu)化問(wèn)題，從而減少計(jì)算量，加快了SVM的學(xué)習(xí)過(guò)程．更重要的是，這種方法沒(méi)有損失原有SVM的泛化能力．另外，SVM對(duì)噪聲非常敏感，有噪

9、聲的輸入樣本會(huì)使決策面嚴(yán)重偏離最優(yōu)超平面．模糊SVM(FSVM)被提出來(lái)解決這個(gè)問(wèn)題．在這一部分，對(duì)FSVM提出了一個(gè)新的從屬關(guān)系計(jì)算函數(shù)，可以計(jì)算樣本在輸入空間或者特征空間中對(duì)決策面的貢獻(xiàn)．進(jìn)而，提高SVM的抗干擾能力，有效地改進(jìn)SVM的分類準(zhǔn)確性． 第三部分研究一類回復(fù)式神經(jīng)網(wǎng)絡(luò)(RNN)的輸出收斂性問(wèn)題．因?yàn)镽NN具有反饋的拓?fù)浣Y(jié)構(gòu)和時(shí)間性的行為特征，較前饋神經(jīng)網(wǎng)絡(luò)有更強(qiáng)的逼近，自適應(yīng)能力．也因?yàn)镽NN重要的理論意義和實(shí)際