基于誤差矢量化的選擇性神經(jīng)網(wǎng)絡(luò)集成方法的研究與應(yīng)用.pdf

1、神經(jīng)網(wǎng)絡(luò)集成算法是一種非常有效的建模方法，算法通過訓(xùn)練大量的子網(wǎng)絡(luò)并簡(jiǎn)單結(jié)合其結(jié)論，能夠很大程度上提高網(wǎng)絡(luò)泛化結(jié)果的精度。增大子網(wǎng)間差異度是提高集成精度最有效的方法，而由于能夠影響神經(jīng)網(wǎng)絡(luò)的因素很多，當(dāng)前學(xué)術(shù)界對(duì)差異度的認(rèn)識(shí)并不統(tǒng)一。傳統(tǒng)方法獨(dú)立訓(xùn)練各子網(wǎng)，子網(wǎng)間由于訓(xùn)練過程中不存在交互，訓(xùn)練出的子網(wǎng)差異度較小。
　　 本文將集成誤差輸出矢量化，從矢量的角度分析影響集成精度的因素，給出了基于誤差矢量的差異度計(jì)算公式，并提出基于誤

2、差矢量化的子網(wǎng)選擇方法。隨后提出了基于誤差矢量化的集成方法EVSNE(ErrorVectorizationbasedSelectiveNetworkEnsemble)，該方法在子網(wǎng)訓(xùn)練同時(shí)考慮集成精度，通過訓(xùn)練過程中在優(yōu)化目標(biāo)值中加入懲罰項(xiàng)，使各子網(wǎng)輸出誤差矢量相互補(bǔ)償?shù)窒?。EVSNE算法在訓(xùn)練過程中存在交互，子網(wǎng)差異度比傳統(tǒng)的Bagging方法更大。
　　 通過分析EVSNE算法與傳統(tǒng)的子集生成算法各自發(fā)揮作用的原理，得出兩類

3、方法可以結(jié)合，可以通過傳統(tǒng)方法生成具有差異度的訓(xùn)練集，再通過EVSNE算法的交互過程來訓(xùn)練子網(wǎng)，從而提出基于Bagging的改進(jìn)方法B-EVSNE和基于聚類的改進(jìn)方法C-EVSNE。在改進(jìn)的EVSNE算法中，Bagging和聚類方法可以看成對(duì)EVSNE的數(shù)據(jù)預(yù)處理過程。
　　 為了確定參數(shù)、驗(yàn)證算法，本文選取了6組標(biāo)準(zhǔn)數(shù)據(jù)對(duì)算法進(jìn)行測(cè)試，6組數(shù)據(jù)均為神經(jīng)網(wǎng)絡(luò)常用的經(jīng)典測(cè)試集。通過實(shí)驗(yàn)確定了EVSNE算法最合適的懲罰項(xiàng)參數(shù)取值與子