新型雙隱層極限學(xué)習(xí)機(jī)及其應(yīng)用.pdf

1、近年來(lái)，智能手表，智能手環(huán)等一系列可穿戴式智能設(shè)備逐漸受到越來(lái)越多人們的關(guān)注和喜愛。精致小巧是這些便攜設(shè)備的優(yōu)點(diǎn)。但是，不可否認(rèn)的是，在這眾多的可穿戴設(shè)備之中，總有一些設(shè)備因?yàn)榇鎯?chǔ)空間有限而達(dá)不到令客戶滿意的分類精度。為了解決這個(gè)問(wèn)題，本文提出了一種新型的雙隱層極限學(xué)習(xí)機(jī)（Two-hidden-layer Extreme Learning Machine，TELM）。這種算法是在基本的極限學(xué)習(xí)機(jī)（Extreme Learning Mac

2、hine，ELM）的單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden-layer Feedforward Neural Network，SLFN）結(jié)構(gòu)的基礎(chǔ)之上，又添加了一個(gè)隱層。所以，從結(jié)構(gòu)上來(lái)說(shuō)，它屬于一種雙隱層前饋神經(jīng)網(wǎng)絡(luò)（Two-hidden-layer Feedforward Neural Network，TLFN）算法。具體說(shuō)來(lái)，就是它的第一層隱層的參數(shù)（輸入層與第一層隱層的之間的連接權(quán)值、第一層隱層的偏置）同基本的極限學(xué)習(xí)機(jī)

3、一樣是隨機(jī)產(chǎn)生的。而它的第二層隱層的參數(shù)（第一層隱層與第二層隱層的之間的連接權(quán)值、第二層隱層的偏置）是通過(guò)我們引入的一種新穎的參數(shù)求解方法計(jì)算得出的。實(shí)驗(yàn)表明，相比于ELM及一些多隱層ELM算法，該算法僅需設(shè)置較少的隱層節(jié)點(diǎn)，就可達(dá)到較高的精度，并且具有較強(qiáng)的魯棒性?？梢詾橐恍┍銛y智能設(shè)備在有限的存儲(chǔ)容量條件下，精度如何大幅提高提供了一條行之有效的解決方案。算法的實(shí)用性較強(qiáng)。本文主要完成了以下工作：
　　首先，簡(jiǎn)述了極限學(xué)習(xí)機(jī)的研

4、究背景及意義。
　　其次，著重介紹了極限學(xué)習(xí)機(jī)的一些基本原理及概念，并對(duì)傳統(tǒng)的極限學(xué)習(xí)機(jī)的優(yōu)缺點(diǎn)進(jìn)行了較為詳細(xì)的分析與論述。在此基礎(chǔ)上，又對(duì)近年來(lái)不斷涌現(xiàn)的一些極限學(xué)習(xí)機(jī)的改進(jìn)算法和與之相關(guān)的應(yīng)用進(jìn)行了綜述。
　　再次，重點(diǎn)論述了本文提出的一種新型的雙隱層極限學(xué)習(xí)機(jī)（Two-hidden-layer Extreme Learning Machine，TELM）的算法思想，基本原理及相關(guān)推導(dǎo)等。在這一算法中，它第一層隱層的參數(shù)

5、同傳統(tǒng)的極限學(xué)習(xí)機(jī)一樣是隨機(jī)產(chǎn)生的，這樣做既保留了傳統(tǒng)的ELM的特色，又保證了算法的較快的訓(xùn)練速度。而 TELM第二層隱層的參數(shù)的求解是通過(guò)我們引入的一種新穎的參數(shù)求解方法算出的。通過(guò)這種參數(shù)求解方法來(lái)尋求一個(gè)輸入空間與輸出空間的更好的映射關(guān)系，從而提高算法的精度。在實(shí)驗(yàn)測(cè)評(píng)部分，通過(guò)對(duì)3個(gè)不同性質(zhì)的優(yōu)化函數(shù)進(jìn)行的擬合實(shí)驗(yàn)、對(duì) Vowel、Satellite、Segment、Pendigits、Optdigits這5個(gè)不同維數(shù)，不同類別

6、數(shù)的簡(jiǎn)單數(shù)據(jù)集以及對(duì)一個(gè)數(shù)據(jù)量較大，維數(shù)較高的復(fù)雜數(shù)據(jù)集——MNIST數(shù)據(jù)集進(jìn)行的分類實(shí)驗(yàn)，表明：該算法僅需設(shè)置較少的隱層節(jié)點(diǎn)，就可獲得較高的訓(xùn)練精度和測(cè)試精度，同時(shí)，也證明了該算法的可行性和實(shí)用性。
　　最后，為了測(cè)試這種雙隱層極限學(xué)習(xí)機(jī)解決實(shí)際問(wèn)題的能力，又將該算法應(yīng)用到了新興的腕部靜脈認(rèn)證系統(tǒng)（Wrist Vein Recognition System）中去，通過(guò)與傳統(tǒng)的ELM作對(duì)比實(shí)驗(yàn)，結(jié)果表明：相比于ELM，TELM不但