基于多尺度核加權(quán)融合的支持向量機(jī)核函數(shù)優(yōu)化方法的研究.pdf

1、支持向量機(jī)是以統(tǒng)計(jì)學(xué)習(xí)理論作為其基礎(chǔ)并且以結(jié)構(gòu)風(fēng)險(xiǎn)最小化作為其遵循的準(zhǔn)則，它通過結(jié)構(gòu)風(fēng)險(xiǎn)最小化來同時(shí)控制學(xué)習(xí)機(jī)器的復(fù)雜度以及學(xué)習(xí)機(jī)器的學(xué)習(xí)能力。支持向量機(jī)在解決高維非線性的小樣本的機(jī)器學(xué)習(xí)的問題具有非常大的優(yōu)勢(shì)，它沒有傳統(tǒng)機(jī)器學(xué)習(xí)方法存在的很多的問題，比如局部極值、過擬合等。支持向量機(jī)從提出到現(xiàn)在得到了廣泛的應(yīng)用與發(fā)展，但是，它依然存在一些問題，對(duì)于如何優(yōu)化選擇核函數(shù)以及優(yōu)化選擇相關(guān)的參數(shù)、如何利用多尺度核學(xué)習(xí)方法等，還沒有完善統(tǒng)一的模

2、式去遵循。因此，從SVM核函數(shù)的優(yōu)化選擇、SVM的參數(shù)優(yōu)化選擇、多尺度核學(xué)習(xí)等方面進(jìn)行研究是非常必要而且有意義的。所以，本文從以上三個(gè)方面進(jìn)行詳細(xì)深入的研究，在核函數(shù)度量方法的基礎(chǔ)上做出了一些改進(jìn)，在不增加原有算法復(fù)雜度的情況下，選擇出性能最好的核函數(shù)，來提高SVM算法的泛化性能和推廣能力。
　　本研究主要內(nèi)容包括：⑴研究了機(jī)器學(xué)習(xí)理論、統(tǒng)計(jì)學(xué)習(xí)理論、支持向量機(jī)理論等，詳細(xì)敘述了由最優(yōu)超平面的最小間分隔得到SVM的算法的數(shù)學(xué)模型。

3、再由算法的數(shù)學(xué)模型推導(dǎo)出線性SVM的具體算法，以及通過核函數(shù)將線性SVM推廣到非線性SVM。⑵研究了核函優(yōu)化選擇的方法，特別是獨(dú)立于SVM算法的核度量方法，分析了常用的核函數(shù)度量方法如核度量準(zhǔn)則、核極化準(zhǔn)則、推廣的多類核極化準(zhǔn)則，這些方法獨(dú)立于具體的算法不需要訓(xùn)練支持向量機(jī)，算法簡(jiǎn)單復(fù)雜度低，并且能很好的選擇出核函數(shù)，是一種很有效的核函數(shù)選擇方法。⑶介紹多核學(xué)習(xí)的方法，可以發(fā)現(xiàn)多核學(xué)習(xí)方法比單核學(xué)習(xí)方法性能好，多尺度核學(xué)習(xí)方法是多核學(xué)習(xí)

4、方法的一種，靈活性好。在借鑒了核度量方法和多尺度核學(xué)習(xí)方法的優(yōu)點(diǎn)之后，提出了一種多尺度核加權(quán)融合優(yōu)化的學(xué)習(xí)方法，給出了理論的分析和證明。⑷將提出的方法在六種經(jīng)典的圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。首先，驗(yàn)證了加權(quán)融合的多尺度核優(yōu)化學(xué)習(xí)的方法可以很好的選擇出泛化性能好的加權(quán)融合的多尺度核。然后，將選擇出來的加權(quán)融合的多尺度核結(jié)合支持向量機(jī)算法和選擇高斯核函數(shù)的標(biāo)準(zhǔn)支持向量機(jī)、直推式支持向量機(jī)、拉普拉斯支持向量機(jī)、最近鄰算法做比較，發(fā)現(xiàn)本文提出的方法識(shí)