基于成員相似性的集成極端學(xué)習(xí)機(jī)及其應(yīng)用.pdf

1、雖然極端學(xué)習(xí)機(jī)能夠在極短的時(shí)間內(nèi)獲得更優(yōu)的泛化性能，但因其輸入層權(quán)值和隱單元閾值是隨機(jī)選取的，從而使極端學(xué)習(xí)機(jī)的泛化性能受到影響。相對(duì)于單個(gè)分類(lèi)器，集成分類(lèi)器具有更優(yōu)的泛化性能和穩(wěn)定性。但大多數(shù)集成學(xué)習(xí)在選取成員分類(lèi)器時(shí)未充分考慮成員間的差異度從而導(dǎo)致集成學(xué)習(xí)性能不高。為了提高集成成員間的差異性，本文提出了一類(lèi)基于成員相似性的集成極端學(xué)習(xí)機(jī)。該類(lèi)學(xué)習(xí)機(jī)利用微粒群算法結(jié)合成員間相似性對(duì)集成成員進(jìn)行優(yōu)選。同時(shí)，在集成成員優(yōu)選的基礎(chǔ)上提出了兩

2、種改進(jìn)的投票權(quán)值集成方法以進(jìn)一步提高集成系統(tǒng)的性能。最后將該類(lèi)集成算法應(yīng)用于Benchmark數(shù)據(jù)和基因表達(dá)譜數(shù)據(jù)分類(lèi)，取得了優(yōu)于傳統(tǒng)方法的分類(lèi)性能。本文的主要工作如下:
　　1)提出了一類(lèi)基于微粒群算法和相似性的成員極端學(xué)習(xí)機(jī)選擇方法。該方法在備選極端學(xué)習(xí)機(jī)庫(kù)中，運(yùn)用微粒群算法優(yōu)選相似性低的成員學(xué)習(xí)機(jī)組合以增加集成系統(tǒng)的差異度，從而有利于提高集成系統(tǒng)的性能。在多個(gè)Benchmark數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，基于相似性選擇的集成系統(tǒng)

3、的差異度高于傳統(tǒng)的集成系統(tǒng)。
　　2)提出了兩個(gè)改進(jìn)的加權(quán)投票集成方法。其一、集成投票權(quán)重根據(jù)各成員極端學(xué)習(xí)機(jī)在驗(yàn)證集上的識(shí)別率來(lái)設(shè)置，該方法充分考慮了成員學(xué)習(xí)機(jī)的分類(lèi)能力。其二、集成投票權(quán)重通過(guò)極小范數(shù)最小二乘法來(lái)確定，以獲取理論上的最優(yōu)投票權(quán)值解。在多個(gè)Benchmark數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，基于這兩個(gè)改進(jìn)的加權(quán)投票集成方法的集成極端學(xué)習(xí)機(jī)比傳統(tǒng)集成極端學(xué)習(xí)機(jī)更優(yōu)的泛化性能、穩(wěn)定性以及更高的識(shí)別率。在基于這兩個(gè)集成方法的集成