回聲狀態(tài)網(wǎng)絡(luò)的神經(jīng)元模型和拓?fù)浣Y(jié)構(gòu)優(yōu)化研究.pdf

1、近年來，隨著人工智能技術(shù)的快速發(fā)展，回聲狀態(tài)網(wǎng)絡(luò)（Echo state network, ESN）在非線性時(shí)間序列處理和動(dòng)態(tài)預(yù)測(cè)系統(tǒng)方面表現(xiàn)出了一定的優(yōu)勢(shì)，受到了國(guó)內(nèi)外研究學(xué)者的廣泛關(guān)注。作為一種改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent neural network, RNN），回聲狀態(tài)網(wǎng)絡(luò)采用大規(guī)模稀疏連接的結(jié)構(gòu)（動(dòng)態(tài)儲(chǔ)備池）作為隱含層，且只對(duì)輸出連接權(quán)值進(jìn)行調(diào)整，使整個(gè)訓(xùn)練階段變得簡(jiǎn)單高效，克服了經(jīng)典遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則實(shí)現(xiàn)難度大，運(yùn)

2、行時(shí)間長(zhǎng)等缺點(diǎn)，逐漸成為非線性時(shí)間序列預(yù)測(cè)任務(wù)的重要處理方法。其中，隱含層作為信息處理的重要環(huán)節(jié)，對(duì)ESN模型的計(jì)算能力起著關(guān)鍵性作用。然而，傳統(tǒng)的ESN采用隨機(jī)生成的儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)，其計(jì)算能力有限，難以滿足一些高復(fù)雜度預(yù)測(cè)任務(wù)對(duì)于預(yù)測(cè)精度的要求。此外，在構(gòu)建新的儲(chǔ)備池計(jì)算模型時(shí)，要盡量平衡預(yù)測(cè)精度和計(jì)算復(fù)雜度兩個(gè)指標(biāo)。針對(duì)這兩個(gè)問題，本文從儲(chǔ)備池優(yōu)化入手，包括拓?fù)浣Y(jié)構(gòu)和神經(jīng)元模型兩個(gè)方面，開展基于ESN非線性時(shí)間序列預(yù)測(cè)精度提升的相關(guān)

3、工作。
　　一方面，基于復(fù)雜網(wǎng)絡(luò)理論，本文構(gòu)建了無(wú)標(biāo)度高聚類網(wǎng)絡(luò)，驗(yàn)證了其小世界和無(wú)標(biāo)度特性。然后將該結(jié)構(gòu)引入ESN儲(chǔ)備池計(jì)算，成功建立了無(wú)標(biāo)度高聚類ESN計(jì)算模型。最后，采用非線性自回歸滑動(dòng)平均模型和金融序列預(yù)測(cè)任務(wù)檢驗(yàn)了所提出模型的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明：相較于傳統(tǒng)的隨機(jī)網(wǎng)絡(luò)，多簇?zé)o標(biāo)度結(jié)構(gòu)因其具備小世界和無(wú)尺度特性有更好的計(jì)算能力。
　　另一方面，基于環(huán)狀結(jié)構(gòu)和漏積分神經(jīng)元（leaky integrator neuron）

4、，構(gòu)建了低復(fù)雜度ESNs。為了和傳統(tǒng)ESN進(jìn)行性能比較，分別構(gòu)建了隨機(jī)ESN,環(huán)狀ESN,隨機(jī)漏積分ESN，環(huán)狀漏積分ESN，混合環(huán)狀漏積分ESN五種不同的ESN計(jì)算模型。采用MGS（Mackey-Glass）混沌時(shí)間序列預(yù)測(cè)任務(wù)，分別從預(yù)測(cè)性能、抗噪聲能力和非線性逼近性能三個(gè)方面對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明：簡(jiǎn)單的環(huán)狀結(jié)構(gòu)和隨機(jī)結(jié)構(gòu)性能相當(dāng)；漏積分單元比傳統(tǒng)的 Sigmoid神經(jīng)元具備更好的記憶性能；環(huán)狀結(jié)構(gòu)和漏積分神經(jīng)元的結(jié)合顯