支持向量機(jī)的多分類(lèi)擴(kuò)展算法研究.pdf

1、支持向量機(jī)(SVM)是上世紀(jì)九十年代中期提出的新一代機(jī)器學(xué)習(xí)技術(shù)，它基于統(tǒng)計(jì)學(xué)習(xí)理論，至今仍然是研究的熱點(diǎn)，被許多領(lǐng)域的研究用來(lái)作為學(xué)習(xí)機(jī)器。支持向量機(jī)以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為基礎(chǔ)，因此能夠較好地處理小樣本情況下的學(xué)習(xí)問(wèn)題，它較好地解決了傳統(tǒng)基于數(shù)據(jù)的學(xué)習(xí)方法可能出現(xiàn)的過(guò)學(xué)習(xí)、高維數(shù)、局部極小點(diǎn)等問(wèn)題。統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)作為小樣本學(xué)習(xí)的代表性理論，在人工智能和機(jī)器學(xué)習(xí)的各個(gè)領(lǐng)域的應(yīng)用和研究都受到了重視。
　　支持向量機(jī)本身是被

2、設(shè)計(jì)作為二分類(lèi)器，而對(duì)于實(shí)際分類(lèi)問(wèn)題大多數(shù)時(shí)間需要進(jìn)行多類(lèi)分類(lèi)，目前的多分類(lèi)擴(kuò)展方法主要有兩類(lèi)，一類(lèi)是直接法，直接在目標(biāo)函數(shù)上進(jìn)行修改，將多個(gè)二次規(guī)劃問(wèn)題求解合并到一個(gè)最優(yōu)化問(wèn)題中，通過(guò)直接求解該最優(yōu)化問(wèn)題來(lái)實(shí)現(xiàn)多類(lèi)分類(lèi)。這樣做雖然思路簡(jiǎn)單，但是在大部分現(xiàn)實(shí)場(chǎng)景下問(wèn)題的形式都過(guò)于復(fù)雜難以求解，雖然也存在對(duì)直接法的研究，但是沒(méi)有辦法從根本上擺脫問(wèn)題的復(fù)雜性；另一類(lèi)是間接法，主要是通過(guò)多個(gè)二分類(lèi)器通過(guò)某種方式集成來(lái)實(shí)現(xiàn)多分類(lèi)器的功能，這是支

3、持向量機(jī)研究中的重要內(nèi)容。
　　本文主要做了以下方面的工作：
　　1.介紹了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展歷史和研究現(xiàn)狀，討論了支持向量機(jī)中的基本理論和問(wèn)題求解算法。
　　2.對(duì)目前主要的基于支持向量機(jī)的多分類(lèi)方法進(jìn)行了介紹和對(duì)比。DAGSVM作為SVM多分類(lèi)方法中使用得較多、準(zhǔn)確度相對(duì)較高的基本方法之一，從它的層次結(jié)構(gòu)上看仍然有可以提高準(zhǔn)確度的可能，本文中提出對(duì)DAG結(jié)構(gòu)估計(jì)分類(lèi)準(zhǔn)確度的方法，從備選結(jié)構(gòu)中用窮舉法選擇出