基于超限學(xué)習(xí)機(jī)的幾種增量算法研究.pdf

1、超限學(xué)習(xí)機(jī)是針對單隱層前饋神經(jīng)網(wǎng)絡(luò)的一種新型學(xué)習(xí)方法，因其算法結(jié)構(gòu)簡單，學(xué)習(xí)速度快，以及良好的泛化性能等優(yōu)良的特性而日漸被研究人員關(guān)注.但在實(shí)際的應(yīng)用中，在訓(xùn)練網(wǎng)絡(luò)完成后，如果因需要，需剔除某些數(shù)據(jù)，如”臟數(shù)據(jù)”，冗余數(shù)據(jù)等.剔除或替換后，傳統(tǒng)的超限學(xué)習(xí)機(jī)需要重新訓(xùn)練整個(gè)網(wǎng)絡(luò)，但對于大數(shù)據(jù)，會增加很多額外的訓(xùn)練時(shí)間.針對這一問題，在超限學(xué)習(xí)機(jī)算法的基礎(chǔ)上，提出了剔除訓(xùn)練樣本的在線負(fù)增量學(xué)習(xí)算法和替換訓(xùn)練樣本的增量學(xué)習(xí)算法:即剔除或替換訓(xùn)

2、練樣本后，不需要再重新訓(xùn)練整個(gè)網(wǎng)絡(luò)，而只要在原有結(jié)果的基礎(chǔ)上，通過更新外權(quán)矩陣來完成網(wǎng)絡(luò)訓(xùn)練.除此之外，在誤差最小化超限學(xué)習(xí)機(jī)的基礎(chǔ)上，提出了增加隱層節(jié)點(diǎn)的增量算法:即當(dāng)增加隱層節(jié)點(diǎn)后，測試樣本的輸出結(jié)果在原有結(jié)果上進(jìn)行更新，無需重新計(jì)算，從而提高運(yùn)行效率.本文主要研究內(nèi)容如下:
　　第一章闡述了超限學(xué)習(xí)機(jī)的原理及研究現(xiàn)狀，簡單總結(jié)了本文的研究內(nèi)容及研究意義，以及與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)研究算法相比較的優(yōu)勢.
　　第二章研究了剔除訓(xùn)練

3、樣本的在線負(fù)增量學(xué)習(xí)算法，剔除數(shù)據(jù)后，首先利用增量學(xué)習(xí)的思想，在原有訓(xùn)練結(jié)果的基礎(chǔ)上計(jì)算出更新后的外權(quán)矩陣，因此不需要重新訓(xùn)練整個(gè)網(wǎng)絡(luò)，進(jìn)而完成對測試樣本輸出結(jié)果的更新.文中分別從算法復(fù)雜性和仿真實(shí)驗(yàn)兩方面分析驗(yàn)證本節(jié)算法更具有速度優(yōu)勢.
　　第三章研究了替換訓(xùn)練樣本的增量學(xué)習(xí)算法，替換數(shù)據(jù)后，運(yùn)用第二章中的在線負(fù)增量算法和在線序列增量算法的思想，設(shè)計(jì)該算法的外權(quán)矩陣，進(jìn)而對測試樣本輸出結(jié)果進(jìn)行更新.算法復(fù)雜性分析和仿真實(shí)驗(yàn)的結(jié)果