支持向量機(jī)模型選擇研究.pdf

1、統(tǒng)計學(xué)習(xí)理論(StatisticalLarningTheory，STL)為系統(tǒng)地研究有限樣本情況下的機(jī)器學(xué)習(xí)問題提供了一套比較完整的理論體系。支持向景機(jī)(SupportVectorMachine，SVM)是在該理論體系下產(chǎn)生的一種新的機(jī)器學(xué)習(xí)方法，它能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等問題，具有很強(qiáng)的泛化能力。支持向量機(jī)目前已經(jīng)廣泛地應(yīng)用于模式識別、回歸估計、概率密度估計等各個領(lǐng)域。不僅如此，支持向量機(jī)的出現(xiàn)推動了基

2、于核的學(xué)習(xí)方法(Kernel-basedLearningMethods)的迅速發(fā)展，該方法使得研究人員能夠高效地分析非線性關(guān)系，而這種高效率原先只有線性算法才能得到。目前，以支持向量機(jī)為主要代表的核方法是機(jī)器學(xué)習(xí)領(lǐng)域研究的焦點(diǎn)課題之一。
　　 眾所周知，支持向量機(jī)的性能主要取決于兩個因素：(ⅰ)核函數(shù)的選擇；(ⅱ)懲罰系數(shù)(正則化參數(shù))C的選擇。對于具體的問題，如何確定SVM中的核函數(shù)與懲罰系數(shù)就是所謂的模型選擇問題。模型選擇，

3、尤其是核函數(shù)的選擇是支持向量機(jī)研究的中心內(nèi)容之一。本文針對模型選擇問題，特別是核函數(shù)的選擇問題進(jìn)行了較為深入的研究，其中主要的工作和貢獻(xiàn)如下：
　　 1.系統(tǒng)地歸納總結(jié)了統(tǒng)計學(xué)習(xí)理論、核函數(shù)特征空間和支持向量機(jī)的有關(guān)理論與算法。這些內(nèi)容是本文工作的基礎(chǔ)，作者力求在介紹這些內(nèi)容時盡量做到簡潔但又不失完整與系統(tǒng)性；同時在許多內(nèi)容的敘述中也融入了作者自己學(xué)習(xí)的一些體會。
　　 2.研究了SVM參數(shù)的基本語義，指出數(shù)據(jù)集中的不同

4、特征和不同樣本對分類結(jié)果的影響可以分別由核參數(shù)和懲罰系數(shù)來刻畫，從而樣本重要性和特征重要性的考察可以歸結(jié)到SVM的模型選擇問題來研究。在對樣本加權(quán)SVM模型(例如模糊SVM)分析的基礎(chǔ)上，提出了特征加權(quán)SVM模型，即FWSVM。FWSVM本質(zhì)上就是SVM與特征加權(quán)的結(jié)合，本文將特征加權(quán)引入到核函數(shù)的構(gòu)造中，從而可以從核函數(shù)的角度來研究特征加權(quán)對SVM分類性能的影響。理論分析和數(shù)值實(shí)驗(yàn)的結(jié)果均表明，F(xiàn)WSVM比標(biāo)準(zhǔn)的SVM的泛化能力要好。

5、
　　 3.在系統(tǒng)歸納總結(jié)SVM模型選擇、尤其是核函數(shù)參數(shù)選擇的常用方法(例如交叉驗(yàn)證技術(shù)、最小化LOO誤差及其上界、優(yōu)化核評估標(biāo)準(zhǔn))之后，進(jìn)一步研究了核極化的幾何意義，指出高的核極化值意味著同類的數(shù)據(jù)點(diǎn)相互靠近而異類的數(shù)據(jù)點(diǎn)則相互遠(yuǎn)離，并提出了一種基于優(yōu)化核極化的廣義Gaussian核的參數(shù)選擇算法KPG。和優(yōu)化后的標(biāo)準(zhǔn)Gaussian核相比，使用優(yōu)化后的廣義Gaussian核的SVM具有更好的泛化能力。此外，提出了KPG算法

6、的一種變體，即KPFS算法，并通過實(shí)驗(yàn)初步驗(yàn)證了KPFS用于SVM特征選擇的有效性。
　　 4.在局部Fisher判別分析算法的啟發(fā)下，對存在局部結(jié)構(gòu)信息條件下的核評估標(biāo)準(zhǔn)問題進(jìn)行了深入地討論，指出目前常用的核評估標(biāo)準(zhǔn)都沒有考慮同類數(shù)據(jù)的局部結(jié)構(gòu)信息對分類性能的影響，這種“全局性”的評估標(biāo)準(zhǔn)有可能會限制增強(qiáng)數(shù)據(jù)可分性的自由度。基于這個缺陷，提出了一個“局部化”的核評估標(biāo)準(zhǔn)，即局部核極化。局部核極化通過引入親和系數(shù)在一定程度上保持