極限學(xué)習(xí)機的研究與應(yīng)用.pdf

1、機器學(xué)習(xí)是當(dāng)今大數(shù)據(jù)時代的核心研究方向,機器學(xué)習(xí)的研究成果被廣泛應(yīng)用到模式識別、計算機視覺、數(shù)據(jù)挖掘、控制論等領(lǐng)域當(dāng)中,并滲透到人們?nèi)粘Ｉ畹姆椒矫婷娈?dāng)中。而在機器學(xué)習(xí)的研究當(dāng)中,分類器的研究占據(jù)著舉足輕重的地位,絕大部分的實際問題都可以轉(zhuǎn)換成一個分類問題,分類器的性能往往是一個應(yīng)用成果與否的關(guān)鍵。挖掘分類器,如支持向量機(SVM)、adaboost、極限學(xué)習(xí)機(ELM)等,的潛力已經(jīng)成為了當(dāng)今機器學(xué)習(xí)的主流研究方向。
　　本文的

2、主要研究內(nèi)容是極限學(xué)習(xí)機的潛力挖掘。極限學(xué)習(xí)機是從單隱藏層的神經(jīng)網(wǎng)絡(luò)發(fā)展而來,并具有易于實現(xiàn),速度快,泛化能力強等特點,而成為廣大學(xué)者的研究對象。本文通過對極限學(xué)習(xí)機的研究,針對極限學(xué)習(xí)機理論和應(yīng)用上的缺陷,提出了三個極限學(xué)習(xí)機的變種,改善了極限學(xué)習(xí)機的性能,拓寬了極限學(xué)習(xí)機的應(yīng)用。
　　本論文主要完成了下列工作:
　　(1)在多輸入對多輸出的回歸問題中,極限學(xué)習(xí)機只考慮輸入空間各個維度之間的結(jié)構(gòu)化信息而忽略輸出空間的結(jié)構(gòu)化

3、信息。針對這一弱點,本文提出了輸出空間嵌入式極限學(xué)習(xí)機,將輸出空間中各個維度之間的結(jié)構(gòu)化信息“嵌入”極限學(xué)習(xí)機的神經(jīng)網(wǎng)絡(luò)中,從而提高極限學(xué)習(xí)機在多輸入對多輸出的回歸問題的準(zhǔn)確率。
　　(2)針對極限學(xué)習(xí)機缺乏有效的訓(xùn)練方法這一弱點,本文提出了分布最優(yōu)化的極限學(xué)習(xí)機。該算法將輸入權(quán)重和隱藏層偏置進行含有待定參數(shù)的編碼,利用現(xiàn)有的基于梯度的優(yōu)化算法優(yōu)化待定參數(shù),從而得到輸入權(quán)重和隱藏層偏置的最優(yōu)分布,并提高極限學(xué)習(xí)機的準(zhǔn)確率。

4、　　(3)目前極限學(xué)習(xí)機缺乏分布式的實施方法,對于大數(shù)據(jù)問題力不從心。特別對大數(shù)據(jù)分布在網(wǎng)絡(luò)中不同節(jié)點,每個節(jié)點擁有自已的私密數(shù)據(jù)這類應(yīng)用更加束手無策。本文針對這一弱點,將交替方向乘子法(ADMM)應(yīng)用到極限學(xué)習(xí)機的實現(xiàn)當(dāng)中,提出了協(xié)同分布式極限學(xué)習(xí)機,拓寬了極限學(xué)習(xí)機在大數(shù)據(jù)時代的應(yīng)用。
　　上述研究成果,具有一定的前瞻性和挑戰(zhàn)性。本文在理論分析上取得一些突破,在技術(shù)實現(xiàn)上具有一些創(chuàng)新,為挖掘極限學(xué)習(xí)的潛力和拓寬極限學(xué)習(xí)機中的應(yīng)