支持向量機(jī)解的性質(zhì)及SOR型算法研究.pdf

1、支持向量機(jī)(Support Vector Machine, SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上發(fā)展起來(lái)的一種全新的機(jī)器學(xué)習(xí)算法，是一種解決分類(lèi)問(wèn)題的有效方法。它將分類(lèi)問(wèn)題轉(zhuǎn)化為最優(yōu)化問(wèn)題，從而應(yīng)用最優(yōu)化理論解決問(wèn)題。
　　本文首先詳細(xì)地論述了SVM的基本思想和發(fā)展現(xiàn)狀，然后通過(guò)深入分析，指出現(xiàn)有一些方法中存在的問(wèn)題。針對(duì)這些問(wèn)題，應(yīng)用最優(yōu)化理論進(jìn)行深入研究，主要工作如下：
　　1．通過(guò)引進(jìn)對(duì)偶范數(shù)和平面上基于任意范數(shù)的投影，由

2、向量范數(shù)等價(jià)性得到對(duì)偶范數(shù)的等價(jià)性，在分析對(duì)偶范數(shù)與間隔的聯(lián)系后，進(jìn)而得到基于各向量范數(shù)的間隔間的等價(jià)性，將問(wèn)題歸一化。
　　2．對(duì)基于超松弛方法的支持向量機(jī)(SOR-SVM)的模型進(jìn)行適當(dāng)?shù)母脑欤玫礁倪M(jìn)的SOR-SVM算法。改進(jìn)的SOR-SVM模型中去掉了松弛變量非負(fù)的約束條件，從而其對(duì)偶問(wèn)題是一個(gè)只含非負(fù)約束的二次凸規(guī)劃問(wèn)題。由最優(yōu)性充要條件和SOR方法，得到一個(gè)比現(xiàn)有算法更為簡(jiǎn)單的改進(jìn)SOR-SVM算法。一方面，從解的性質(zhì)

3、角度入手，嚴(yán)格證明了改進(jìn)的SOR-SVM與原標(biāo)準(zhǔn)模型的同解性，并將該結(jié)論推廣到另一類(lèi)改進(jìn)模型與原標(biāo)準(zhǔn)模型的解的關(guān)系中，為SVM提供了理論依據(jù)。另一方面，我們對(duì)算法的性能進(jìn)行了分析和評(píng)測(cè)。證明了該算法是線性收斂的，數(shù)值實(shí)驗(yàn)表明算法是非常有效的、且適合推廣到非線性問(wèn)題上，較原算法有更快的收斂速度。
　　3．將改進(jìn)的SOR-SVM思想推廣到回歸機(jī)中，對(duì)基于超松弛方法的支持向量回歸機(jī)(SOR-SVR)的模型進(jìn)行適當(dāng)?shù)母脑斓玫礁倪M(jìn)的SOR-

4、SVR。首次從理論上嚴(yán)格證明了改進(jìn)的SOR-SVR與原標(biāo)準(zhǔn)模型的同解性，并將該結(jié)論推廣到另一類(lèi)改進(jìn)模型與原標(biāo)準(zhǔn)模型的解的關(guān)系中。理論保證了算法是線性收斂的，數(shù)值實(shí)驗(yàn)表明算法有良好的魯棒性。
　　4．基于改進(jìn)的SOR-SVM和廣義的支持向量機(jī)(GSVM)思想,提出了基于SOR的改進(jìn)的非線性廣義支持向量機(jī)，使得可以用基于任意核的改進(jìn)SOR-SVM來(lái)進(jìn)行分類(lèi)處理。
　　5．將基于SOR的改進(jìn)的非線性廣義支持向量機(jī)的思想推廣到回歸機(jī)