核機(jī)器的理論、算法及應(yīng)用研究.pdf

1、統(tǒng)計(jì)學(xué)習(xí)理論為系統(tǒng)地研究小樣本情況下的機(jī)器學(xué)習(xí)問題提供了一套比較完整的理論體系.20世紀(jì)90年代,在Vapnik等人的不斷努力下,統(tǒng)計(jì)學(xué)習(xí)理論得到了進(jìn)一步完善和發(fā)展.在這一基礎(chǔ)上提出的支持向量機(jī)(Support Vector Machine.SVM),是一種通用的具有很強(qiáng)泛化能力的核學(xué)習(xí)機(jī)器.它能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)和局部極小等闖題,從而廣泛應(yīng)用于模式識別、回歸估計(jì)、函數(shù)逼近以及密度估計(jì)等各個(gè)領(lǐng)域.正是統(tǒng)計(jì)學(xué)習(xí)理論和

2、再生核技術(shù)的完美結(jié)合造就了支持向量機(jī)空前的成功.同時(shí)也激發(fā)了近幾年來核機(jī)器研究的迅猛發(fā)展.目前,在學(xué)習(xí)系統(tǒng)中,有關(guān)核的理論及學(xué)習(xí)方法的研究正逐漸引起人們的廣泛重視并成為新的研究熱點(diǎn). 本論文從核機(jī)器的理論、算法和應(yīng)用相結(jié)合的角度出發(fā),在核函數(shù)的構(gòu)造、核方法的擴(kuò)展、核學(xué)習(xí)算法的改進(jìn)以及核機(jī)器在復(fù)雜非線性系統(tǒng)中的建模、辨識、控制和故障診斷等方面的應(yīng)用進(jìn)行了系統(tǒng)的研究.本文的主要工作如下: 1.基于小波框架的核函數(shù)的構(gòu)造針對常

3、用核函數(shù)由于基的不完備性導(dǎo)致核機(jī)器性能不佳的缺陷,通過對再生核Hilbert空問(RKHS)和小波框架理論的研究,提出了一類新的基于統(tǒng)一小波框架理論構(gòu)建容許支持向量核的方法.首先結(jié)合連續(xù)小波變換,研究了具有平移不變性質(zhì)的連續(xù)小波框架核函數(shù)的構(gòu)建方法;其次,我們研究了一種更具有一般意義的基于核算子構(gòu)造多尺度再生小波核的實(shí)用方法;在此基礎(chǔ)上,將所提小波核函數(shù)引入支持向量機(jī),對多尺度正交小波核及其投影核子空問的正則化逼近特性進(jìn)行了研究.實(shí)驗(yàn)表

4、明上述小波核函數(shù)具有優(yōu)良的時(shí)頻多分辨特性和良好的函數(shù)逼近能力,在函數(shù)估計(jì)和非線性系統(tǒng)辨識中表現(xiàn)出極強(qiáng)的泛化性能.上述核函數(shù)構(gòu)造方法為支持向量機(jī)和其他的核學(xué)習(xí)方法提供了更多的選擇余地. 2.基于核的統(tǒng)計(jì)投影回歸方法的擴(kuò)展將核方法進(jìn)一步拓展到包含內(nèi)積運(yùn)算的線性統(tǒng)計(jì)分析領(lǐng)域,系統(tǒng)地研究了基于核的非線性統(tǒng)計(jì)投影分析及回歸方法.主要進(jìn)行了如下四個(gè)方面的工作:首先,在線性偏最小二乘(PLS)的NIPALS算法基礎(chǔ)上,提出了兩種新的核偏最小二

5、乘(KPLS)改進(jìn)算法.該KPLS方法首先通過核函數(shù)將輸入數(shù)據(jù)映射到一個(gè)高維特征空間,然后在特征空間里通過對傳統(tǒng)NIPALS算法的改進(jìn)構(gòu)造線性PLS回歸模型,為線性的PLS"核算法"和非線性的KPLS提供了一個(gè)統(tǒng)一的框架.其次,將隱核特征映射技術(shù)引入PLS,提出了一種隱核偏最小二乘方法.第三,通過引入樣條核函數(shù),提出了一種新的樣條核偏最小二乘算法(sK-PLS).最后,系統(tǒng)分析了KPLS、KPCA和KCCA的投影結(jié)構(gòu)并進(jìn)行了對比研究.實(shí)

6、驗(yàn)表明特征空間的統(tǒng)計(jì)投影結(jié)構(gòu)良好的函數(shù)逼近特性大大加強(qiáng)了上述核方法非線性建模的泛化性能,從而有效避免了最小二乘法在變量之間存在多重相關(guān)性時(shí)的病態(tài)問題. 3.局部加權(quán)核回歸的在線學(xué)習(xí)算法改進(jìn)對支持向量機(jī)在線學(xué)習(xí)算法的改進(jìn)是機(jī)器學(xué)習(xí)中的重點(diǎn)研究內(nèi)容.針對標(biāo)準(zhǔn)支持向量機(jī)建模是離線批量訓(xùn)練,計(jì)算復(fù)雜性大、訓(xùn)練速度慢的缺點(diǎn),通過結(jié)合局部加權(quán)學(xué)習(xí)、在線遺忘機(jī)制和滾動(dòng)優(yōu)化策略的思想,提出了一種帶窗的加權(quán)最小二乘支持向量機(jī)回歸在線學(xué)習(xí)算法,并應(yīng)

7、用于非線性系統(tǒng)的在線辨識和預(yù)測建模.實(shí)驗(yàn)表明,該方法具有良好的在線學(xué)習(xí)能力. 4.基于最小二乘核回歸的廣義逆系統(tǒng)控制將核機(jī)器引入逆系統(tǒng)控制,提出了針對一般非線性可逆系統(tǒng)的線性化和解耦控制策略.在逆系統(tǒng)控制中,廣義逆模型的構(gòu)建是非線性系統(tǒng)解耦控制器設(shè)計(jì)的關(guān)鍵所在.我們首先將最小二乘支持向量機(jī)(LS-SVM)回歸引入α階逆系統(tǒng)方法,并采用貝葉斯參致優(yōu)化方法快速選取最佳的LS-SVM函數(shù)估計(jì)器逼近靜態(tài)逆模型.在此基礎(chǔ)上,針對非線性動(dòng)態(tài)

8、系統(tǒng)具有模型未知或建模粗糙的特點(diǎn),進(jìn)一步提出了一種動(dòng)態(tài)廣義逆系統(tǒng)結(jié)構(gòu),該結(jié)構(gòu)由靜態(tài)LS-SVM函效估計(jì)器和若干線性動(dòng)態(tài)環(huán)節(jié)組合而成的.通過將此動(dòng)態(tài)廣義逆系統(tǒng)與原系統(tǒng)復(fù)合,復(fù)雜的高階非線性系統(tǒng)可以解耦成許多偽線性的單輸入單輸出 (SISO) 子系統(tǒng),而且各個(gè)偽線性子系統(tǒng)可以按照期望極點(diǎn)進(jìn)行配置. 5.基于租集的數(shù)據(jù)約簡及與核機(jī)器的混雜集成將粗集理論與核機(jī)器結(jié)合.互補(bǔ)二者優(yōu)勢,提出了一種基于租集預(yù)處理的隱核分類器混雜系統(tǒng),該方法在改

9、善分類性能的同時(shí)可以降低計(jì)算復(fù)雜性和減少存貯空間.首先,基于租集中的等價(jià)矩陣及其運(yùn)算性質(zhì),借助于租糙屬性向量樹(RAVT)的巧妙構(gòu)造,我們研究了一種能同時(shí)完成屬性約簡、數(shù)據(jù)清洗和規(guī)則提取的快速遞推矩陣(RMC)算法,并用于斂據(jù)約簡和知識提取;其次,將隱核特征映射技術(shù)引入最小二乘支持向量機(jī)分類算法,提出了一種新的隱最小二乘核分類器(包括兩類和多類算法,分別稱為HKLSC和MHKLSC); 最后,利用租集對數(shù)據(jù)進(jìn)行約簡,將冗余或次要