多核學(xué)習(xí)算法與應(yīng)用研究.pdf

1、核方法是機(jī)器學(xué)習(xí)領(lǐng)域的一類(lèi)重要方法，適合于復(fù)雜的分類(lèi)、特征提取等非線(xiàn)性模式分析任務(wù)。核方法的性能優(yōu)劣與所選用的核函數(shù)密切相關(guān)，由此誕生了多核學(xué)習(xí)(MKL)研究方向。MKL從一組基核中自適應(yīng)地學(xué)習(xí)到最優(yōu)的組合核，可以很好地解決核函數(shù)的選取問(wèn)題。更重要的是，MKL可以看作是介于特征層融合與決策層融合之間的一種新型信息融合方式，即核層融合。因此，對(duì)MKL算法開(kāi)展研究具有重要的現(xiàn)實(shí)意義和實(shí)用價(jià)值。雖然MKL算法的發(fā)展目前已處于成熟階段，但仍需繼

2、續(xù)探索高效的求解方法，并有待于將MKL的理念滲透至更多的機(jī)器學(xué)習(xí)研究方向以及將MKL算法拓展至更多的應(yīng)用領(lǐng)域。因此，本文重點(diǎn)利用兩階段思想，對(duì)高效MKL算法的設(shè)計(jì)及其應(yīng)用進(jìn)行系統(tǒng)深入的研究。同時(shí)，還對(duì)距離度量學(xué)習(xí)(DML)問(wèn)題進(jìn)行了初步探索。本文取得的主要研究成果如下：
　　1、利用分組組合策略，提出了一種兩階段多核典型相關(guān)分析(TSMKCCA)算法框架。第一階段首先將針對(duì)每種特征表示所構(gòu)建的基核分為兩組，然后采用均勻賦值法或基于

3、核目標(biāo)對(duì)齊(KTA)準(zhǔn)則的啟發(fā)式賦值法計(jì)算每組的基核權(quán)重，從而將多個(gè)基核簡(jiǎn)化為兩個(gè)線(xiàn)性組合核。第二階段直接使用核典型相關(guān)分析(KCCA)算法或監(jiān)督式KCCA算法提取非線(xiàn)性典型相關(guān)特征。所提算法框架不僅能夠快速提取多種特征表示的非線(xiàn)性典型相關(guān)特征，還可以將特征層融合方式與核層融合方式有效地結(jié)合起來(lái)，從而獲得優(yōu)異的識(shí)別性能。手寫(xiě)體數(shù)字圖像和人臉圖像數(shù)據(jù)的識(shí)別結(jié)果充分證明了所提方法的有效性。
　　2、利用MKL的信息融合功能，結(jié)合雷達(dá)輻

4、射源個(gè)體識(shí)別應(yīng)用，分別提出了基于多核支持向量機(jī)(SVM)算法及基于 TSMKCCA算法框架的兩種識(shí)別方法，進(jìn)一步拓展了MKL的應(yīng)用領(lǐng)域。針對(duì)雷達(dá)輻射源信號(hào)的不同域特征表示，首先分別構(gòu)建相應(yīng)的基核，然后使用多核SVM或TSMKCCA實(shí)現(xiàn)多特征融合識(shí)別。由于雷達(dá)輻射源信號(hào)的各個(gè)模糊函數(shù)切片特征蘊(yùn)含互補(bǔ)信息，因此所提方法能夠有效地融合這些切片特征，可有效提高識(shí)別性能。實(shí)測(cè)雷達(dá)輻射源數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性。
　　3、針對(duì)極限

5、學(xué)習(xí)機(jī)(ELM)的多核擴(kuò)展問(wèn)題，基于經(jīng)驗(yàn)組合和基于 Fisher判別比準(zhǔn)則，分別提出了對(duì)應(yīng)的兩階段多核ELM(MKELM)算法，并應(yīng)用于高光譜圖像空譜特征聯(lián)合分類(lèi)任務(wù)。經(jīng)驗(yàn)組合 MKELM(EC-MKELM)算法憑借領(lǐng)域經(jīng)驗(yàn)直接給定基核權(quán)重，而 Fisher判別比 MKELM(FR-MKELM)算法則可以完全自適應(yīng)地計(jì)算基核權(quán)重。同時(shí)，提出了一種改進(jìn)的擴(kuò)展形態(tài)學(xué)輪廓(mEMP)特征，可提取高光譜圖像的空間特征。EC-MKELM和FR-M

6、KELM算法均能夠?qū)崿F(xiàn)高光譜圖像的譜特征、Gabor特征和 mEMP特征的有效融合。實(shí)測(cè)高光譜圖像數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明了所提特征以及MKELM算法的性能優(yōu)勢(shì)。
　　4、現(xiàn)有的基于約束經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的距離度量學(xué)習(xí)(DML)雖然在算法求解和理論分析兩方面都取得成功，但不能用于分類(lèi)問(wèn)題中廣泛使用的非光滑hinge損失函數(shù)。針對(duì)此缺陷，提出了一種基于光滑近似優(yōu)化的光滑化 hinge損失度量學(xué)習(xí)(HLMLsm)算法。該算法首先將hinge損失