支持向量機(jī)原理及應(yīng)用(doc)

1、支持向量機(jī)原理及應(yīng)用支持向量機(jī)原理及應(yīng)用(doc)支持向量機(jī)原理及應(yīng)用(doc)實(shí)用標(biāo)準(zhǔn)文案支持向量機(jī)簡(jiǎn)介摘要：支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力。我們通常希望分類的過程是一個(gè)機(jī)器學(xué)習(xí)的過程。這些數(shù)據(jù)點(diǎn)是n維實(shí)空間中的點(diǎn)。我們希望能夠把這些點(diǎn)通過一個(gè)n1維

2、的超平面分開。通常這個(gè)被稱為線性分類器。有很多分類器都符合這個(gè)要求。但是我們還希望找到分類最佳的平面，即使得屬于兩個(gè)不同類的數(shù)據(jù)點(diǎn)間隔最大的那個(gè)面，該面亦稱為最大間隔超平面。如果我們能夠找到這個(gè)面，那么這個(gè)分類器就稱為最大間隔分類器。關(guān)鍵字：VC理論結(jié)構(gòu)風(fēng)險(xiǎn)最小原則學(xué)習(xí)能力1、SVM的產(chǎn)生與發(fā)展自1995年Vapnik在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識(shí)別的新方法之后，SVM一直倍受關(guān)注。同年，Vapnik和Ctes提出軟間隔(s

3、oftmargin)SVM，通過引進(jìn)松弛變量度量數(shù)據(jù)的誤分類(分類出現(xiàn)錯(cuò)誤時(shí)大于0)，同時(shí)在目標(biāo)參數(shù)來度量超平面偏差，代替通常依靠經(jīng)驗(yàn)選取的軟間隔分類懲罰參數(shù)，改善分類效果；LSSVM則是用等式約束代替?zhèn)鹘y(tǒng)SVM中的不等式約束，將求解QP問題變成解一組等式方程來提高算法效率；LIBSVM是一個(gè)通用的SVM軟件包，可以解決分類、回歸以及分布估計(jì)等問題，它提供常用的幾種核函數(shù)可由用戶選擇，并且具有不平衡樣本加權(quán)和多類分類等功能，此外，交叉驗(yàn)

4、證(crossvalidation)方法也是LIBSVM對(duì)核函數(shù)參數(shù)選取問題所做的一個(gè)突出貢獻(xiàn)；SVM1ight的特點(diǎn)則是通過引進(jìn)縮水(shrinking)逐步簡(jiǎn)化QP問題，以及緩存(caching)技術(shù)降低迭代運(yùn)算的計(jì)算代價(jià)來解決大規(guī)模樣本條件下SVM學(xué)習(xí)的復(fù)雜性問題。2、支持向量機(jī)基礎(chǔ)2.1統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)與傳統(tǒng)統(tǒng)計(jì)學(xué)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論(Statisticallearningthey或SLT)是一種專門研究小樣本條件下機(jī)器學(xué)習(xí)規(guī)

5、律的理論。該理論是針對(duì)小樣本統(tǒng)計(jì)問題建立起的一套新型理論體系，在該體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在有限信息條件下得到最優(yōu)結(jié)果。Vapnik等人從上世紀(jì)六、七十年代開始致力于該領(lǐng)域研究，直到九十年代中期，有限樣本條件下的機(jī)器學(xué)習(xí)理論才逐漸成熟起來，形成了比較完善的理論體系——統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論的主要核心內(nèi)容包括：(1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性條件；(2)這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論