極限學(xué)習(xí)機(jī)隱含層節(jié)點(diǎn)選擇算法研究.pdf

1、本文主要研究一種新的機(jī)器學(xué)習(xí)方法，即極限學(xué)習(xí)機(jī)(ELM)。作為一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的學(xué)習(xí)算法，ELM具有快速的學(xué)習(xí)速度和很好的泛化能力。隱含層節(jié)點(diǎn)在ELM算法中起著重要的作用，確定隱含層節(jié)點(diǎn)的方法有兩種：一是剪枝法；;二是增量學(xué)習(xí)方法。介紹了兩種剪枝方法，最優(yōu)剪枝ELM(OP-ELM)和Tikhonov正則OP-ELM(TROP-ELM)。主要工作是ELM的增量學(xué)習(xí)方法，增量學(xué)習(xí)即首先初始化一個(gè)較小的網(wǎng)絡(luò)，然后向網(wǎng)絡(luò)

2、中增加新的節(jié)點(diǎn)，直到生成一個(gè)我們滿意的網(wǎng)絡(luò)。當(dāng)新的隱含層節(jié)點(diǎn)加入到已經(jīng)存在的網(wǎng)絡(luò)中時(shí)，重新訓(xùn)練網(wǎng)絡(luò)往往比較費(fèi)時(shí)，誤差最小化極限學(xué)習(xí)機(jī)(EM-ELM)是一種增量的計(jì)算輸出權(quán)值的快速方法。然而，由于過擬合等原因，EM-ELM不能總是得到好的泛化能力。在此，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，我們提出了一種基于正則化的EM-ELM改進(jìn)方法，即增量正則化極限學(xué)習(xí)機(jī)(IR-ELM)。當(dāng)我們逐一的向網(wǎng)絡(luò)中增加新的隱含層節(jié)點(diǎn)時(shí)，IR-ELM可以快速的更新輸出權(quán)值