多核集成學(xué)習(xí)方法的研究.pdf

1、近年來，多核學(xué)習(xí)（Multiple Kernel Learning，MKL）在機(jī)器學(xué)習(xí)領(lǐng)域受到廣泛關(guān)注，是一種很有前景的數(shù)據(jù)挖掘方法。它主要利用多個(gè)核函數(shù)的線性組合去解決數(shù)據(jù)異構(gòu)或不規(guī)則、樣本不平坦分布等具有挑戰(zhàn)性的問題。
　　傳統(tǒng)多核學(xué)習(xí)方法通常把求解多個(gè)核函數(shù)的線性組合看作優(yōu)化問題，再重點(diǎn)研究?jī)?yōu)化算法，以達(dá)到更好的效率及精度，但計(jì)算量大、不容易收斂仍然是傳統(tǒng)多核學(xué)習(xí)方法的主要缺點(diǎn)。Hao Xia與Steven Hoi創(chuàng)造性地提

2、出了多核集成學(xué)習(xí)框架（Multiple Kernel Boosting,MKBoost），將AdaBoost的思想運(yùn)用到多核學(xué)習(xí)中，巧妙地避開了復(fù)雜的優(yōu)化問題，從而大大提高了算法效率，但由于AdaBoost算法對(duì)噪聲數(shù)據(jù)敏感，所以MKBoost算法不能有效地處理被噪聲污染的數(shù)據(jù)集，魯棒性較差。
　　為了克服MKBoost算法在含有噪聲的數(shù)據(jù)集中出現(xiàn)過擬合的難題，本文提出了兩種新的多核集成學(xué)習(xí)算法，即基于噪聲探測(cè)函數(shù)（noise-b

3、ased MKBoost,ND-MKB）與基于噪聲概率（noise-probability MKBoost,NP-MKB）的多核學(xué)習(xí)方法，新算法主要有兩方面具體內(nèi)容：
　　第一：噪聲的識(shí)別。首先根據(jù)樣本鄰域信息，使用k最近鄰法進(jìn)行噪聲初步探測(cè)，越多鄰域樣本被錯(cuò)誤分類，該樣本是噪聲的概率越大，反之該樣本是正常樣本的概率越大。ND-MKB算法將 k最近鄰法的探測(cè)結(jié)果二值化處理，即{-1，+1}，NP-MKB算法利用logistic回歸

4、模型函數(shù)將初步探測(cè)結(jié)果映射到[0,1]區(qū)間，得到樣本是噪聲的概率。
　　第二：新的多核集成學(xué)習(xí)方法的提出。AdaBoost算法中，無論是其損失函數(shù)還是樣本權(quán)值的更新，均只關(guān)注分類正確與否，要提高AdaBoost的抗噪性，就有必要區(qū)別對(duì)待噪聲樣本與正常樣本。本文分別基于噪聲探測(cè)函數(shù)與噪聲概率函數(shù)提出了兩種新的損失函數(shù)，并利用前向分布算法進(jìn)行算法推導(dǎo)。ND-MKB與NP-MKB算法都充分考慮了樣本的噪聲性質(zhì)對(duì)算法的影響，所以抗噪性和魯