廣義同余神經(jīng)網(wǎng)絡(luò)研究.pdf

1、在過(guò)去的二十年，神經(jīng)網(wǎng)絡(luò)理論研究取得了很大的進(jìn)展，在各領(lǐng)域的應(yīng)用也取得了豐碩的成果。作為神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型，BP網(wǎng)絡(luò)也得到了快速的發(fā)展，同時(shí)，也存在著收斂速度緩慢、難以用數(shù)字硬件實(shí)現(xiàn)等問(wèn)題。隨著研究的深入，人們對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)性、規(guī)模性的要求越來(lái)越高，解決這些問(wèn)題也就顯得更加迫切。 有關(guān)廣義同余神經(jīng)網(wǎng)絡(luò)(GCNN)的初步研究表明，相對(duì)于普通BP網(wǎng)絡(luò)，GCNN具有很快的收斂速度。但是，GCNN也存在著一些不足，主要包括：學(xué)習(xí)能力略差

2、，激勵(lì)函數(shù)模值不易設(shè)定，難以開(kāi)發(fā)出合適的學(xué)習(xí)算法，缺乏嚴(yán)格的理論基礎(chǔ)。 本文針對(duì)GCNN的上述問(wèn)題進(jìn)行了研究，包括提出新的網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法、進(jìn)行相關(guān)理論分析以及實(shí)際應(yīng)用分析。本文的研究成果主要有：1)提出了一種改進(jìn)的廣義同余激勵(lì)函數(shù)。同時(shí)，對(duì)GCNN網(wǎng)絡(luò)結(jié)構(gòu)做了一些改進(jìn)，解決了模值難以設(shè)定的問(wèn)題。并證明了，單隱層的GCNN具有一致逼近能力。 2)提出了兩種新的學(xué)習(xí)算法：改進(jìn)的GCNNBP學(xué)習(xí)算法及LargeMargin

3、學(xué)習(xí)算法。分析了改進(jìn)GCNNBP算法的時(shí)間復(fù)雜度，并證明了其收斂性。實(shí)驗(yàn)結(jié)果表明，本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)及學(xué)習(xí)算法是有效的，GCNN比普通BP網(wǎng)絡(luò)及其部分變體具有更快的學(xué)習(xí)速度和較好的逼近、分類精度。 3)分析了GCNN快速收斂的原因。理論分析及實(shí)驗(yàn)結(jié)果表明，GCNN實(shí)質(zhì)上是通過(guò)在誤差函數(shù)空間中增加誤差函數(shù)的極值點(diǎn)數(shù)目而實(shí)現(xiàn)快速收斂的。 4)將GCNN成功應(yīng)用到垃圾郵件過(guò)濾中。實(shí)驗(yàn)結(jié)果表明，GCNN的過(guò)濾性能好于其它幾種機(jī)