機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究.pdf

1、博士學(xué)位論文機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究ResearchonSomeProblemsinMachineLearningandNeuralNetworkLearning作者姓名：學(xué)號：指導(dǎo)教師：學(xué)科專業(yè)：答辯日期：姚明臣10601005吳微教授計算數(shù)學(xué)2016年3月大連理工大學(xué)DaliallUniversityofTechnology大連理工大學(xué)博士學(xué)位論文摘要在機器學(xué)習(xí)中，通常根據(jù)是否利用有標(biāo)記樣本進行學(xué)習(xí)將其分為有監(jiān)督學(xué)習(xí)和

2、無監(jiān)督學(xué)習(xí)作為機器學(xué)習(xí)的重要組成部分，前饋神經(jīng)網(wǎng)絡(luò)在模式識別、函數(shù)逼近等方面具有重要應(yīng)用對有監(jiān)督學(xué)習(xí)，訓(xùn)練樣本通過輸入層映射到隱層，經(jīng)隱層激活函數(shù)作用后，映射到輸出層，再根據(jù)某種學(xué)習(xí)規(guī)則進行網(wǎng)絡(luò)權(quán)值的調(diào)整神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)涉及到網(wǎng)絡(luò)中輸入層、隱層和輸出層的神經(jīng)元節(jié)點數(shù)及節(jié)點間的連接方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度與泛化能力和網(wǎng)絡(luò)結(jié)構(gòu)、樣本特性密切相關(guān)本文研究的重點是單隱層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，以及樣本學(xué)習(xí)過程的泛化界具體安排如下：第一章主要介紹機器學(xué)

3、習(xí)及神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，前饋神經(jīng)網(wǎng)絡(luò)及網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和樣本學(xué)習(xí)的泛化能力等相關(guān)內(nèi)容和研究情況在第二章中，注意到樣本維數(shù)和前饋神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點密切相關(guān)，我們主要研究基于粗糙集的樣本屬性約簡算法，提出了一種基于集合基本運算的屬性約簡算法，把傳統(tǒng)約簡方法中的合取、析取等運算轉(zhuǎn)化為普通集合的基本運算算例表明，該算法可以有效降低輸入樣本的維數(shù)，以此達到優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)輸入層的目的第三章主要研究在多分類問題中多重感知機輸出節(jié)點，在“一對一”輸出模式下和“

4、二進制”輸出模式下的關(guān)系我們指出了當(dāng)分類規(guī)模k莖8時，利用mS『l092(忌1)]個“二進制”輸出神經(jīng)元的多重感知機，可等價地解決此問題，并進行了理論論證為達到優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)隱層的目的，我們在第四章結(jié)合雙并聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和快速學(xué)習(xí)機(ELM)，提出了雙并聯(lián)快速學(xué)習(xí)機，并推導(dǎo)了相應(yīng)的在線順序?qū)W習(xí)算法數(shù)值實驗表明，雙并聯(lián)快速學(xué)習(xí)機可以有效解決某些分類和回歸問題，和傳統(tǒng)的ELM相比，使用隱節(jié)點數(shù)大大減少，網(wǎng)絡(luò)的泛化性能也有所提高我們在第五章