Lp正則化在支持向量機中的應(yīng)用研究.pdf

1、正則化方法用近似解來逼近原不適定問題的解，是在工程技術(shù)領(lǐng)域中解決不適定問題的重要數(shù)學(xué)方法。在機器學(xué)習(xí)領(lǐng)域中，不同的正則化方法對同一機器學(xué)習(xí)方法來說具有不同的學(xué)習(xí)性能。如何選擇正則化方法是機器學(xué)習(xí)研究領(lǐng)域中的一個重要話題。傳統(tǒng)統(tǒng)計學(xué)習(xí)方法只最小化經(jīng)驗風(fēng)險，往往會產(chǎn)生過學(xué)習(xí)問題。要提高分類器的分類性能，需要增加訓(xùn)練樣本量和憑借專家經(jīng)驗來選擇分類函數(shù)模型。而統(tǒng)計機器學(xué)習(xí)方法提出了分類函數(shù)的VC維、泛化能力、泛化能力的界以及結(jié)構(gòu)風(fēng)險等理論，并指

2、出，在訓(xùn)練分類器時同時最小化經(jīng)驗風(fēng)險和置信范圍可以降低分類函數(shù)的復(fù)雜度，解決過學(xué)習(xí)問題和小樣本問題，以及提高分類器的泛化能力。當(dāng)遇到有些樣本的分布是線性不可分時，如果采用線性分類模型進(jìn)行分類，其分類性能就會很差。此時可以利用非線性映射方法把原輸入樣本空間映射到更高維甚至是無限維的特征空間，在特征空間中可以實現(xiàn)線性分開這些樣本。在實際應(yīng)用中，可以利用滿足Mercer定理的核函數(shù)內(nèi)積來代替這種非線性映射方法。針對只遵循ERM準(zhǔn)則的機器學(xué)習(xí)方

3、法會產(chǎn)生過學(xué)習(xí)的問題，現(xiàn)有支持向量機在經(jīng)驗風(fēng)險一定的情況下，通過引用Lp(p=2，p=1)正則化來降低分類函數(shù)的VC維，實現(xiàn)SRM準(zhǔn)則，能夠解決過學(xué)習(xí)問題和小樣本問題，提高了分類器的泛化能力。本文的主要工作有:
　　 (1)對正問題、反問題、不適定問題、Moore-Penrose廣義解、廣義解的不穩(wěn)定性、正則化原理、正則化方法、統(tǒng)計機器學(xué)習(xí)原理以及統(tǒng)計學(xué)習(xí)理論中的VC維、泛化能力、泛化能力的界、SRM準(zhǔn)則等與支持向量機相關(guān)的基礎(chǔ)

4、性理論作了詳細(xì)的探討。
　　 (2)在有監(jiān)督學(xué)習(xí)框架下和半監(jiān)督學(xué)習(xí)框架下，探討了Lp(p=2，p=1)正則化線性支持向量機方法和核支持向量機方法，以及流形正則化支持向量機，并利用這些方法對合成的兩圓數(shù)據(jù)集和現(xiàn)實的四種兩類數(shù)據(jù)集進(jìn)行了分類性能的比較實驗，驗證了核支持向量機把非線性可分樣本映射到高維特征空間中后，能夠?qū)崿F(xiàn)線性分開這些樣本，以及引入訓(xùn)練樣本的內(nèi)蘊幾何信息，可以提高支持向量機的分類性能，同時得出各數(shù)據(jù)集的分布特點以及各算

5、法的分類性能特點和ROC曲線特征。
　　 (3)結(jié)合稀疏思想及現(xiàn)有平滑函數(shù)的優(yōu)點，采用高斯平滑函數(shù)集來逼近Lp(p=0)正則化項，提出了平滑稀疏正則化支持向量機，詳細(xì)探討了其優(yōu)化步驟。平滑稀疏正則化支持向量機可以訓(xùn)練出模型更簡單的分類器，并具有樣本特征選擇的特性。并與現(xiàn)有支持向量機算法在5個兩類和多類數(shù)據(jù)集上進(jìn)行了實驗比較，得出了平滑稀疏正則化支持向量機方法的有效性。同時發(fā)現(xiàn)，對于多類數(shù)據(jù)集來說，內(nèi)在分類器模型具有一定的復(fù)雜性，