支撐矢量機(jī)應(yīng)用的關(guān)鍵技術(shù)研究.pdf

1、基于數(shù)據(jù)的機(jī)器學(xué)習(xí)一直是智能系統(tǒng)技術(shù)中的一個(gè)重要和極為活躍的研究方向和熱點(diǎn)，其內(nèi)容主要為研究如何從觀測(cè)數(shù)據(jù)(樣本)中發(fā)現(xiàn)規(guī)律，利用獲得的規(guī)律對(duì)未來數(shù)據(jù)或無法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。包括模式識(shí)別、函數(shù)擬合及概率密度估計(jì)等在內(nèi)的現(xiàn)有的基于數(shù)據(jù)的機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一就是統(tǒng)計(jì)學(xué)。傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無窮大時(shí)的漸近理論，現(xiàn)有的諸如神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法也多是基于此假設(shè)。但對(duì)于大多數(shù)實(shí)際問題來說，樣本數(shù)目往往是有限的，因此一些在

2、理論上很優(yōu)秀的機(jī)器學(xué)習(xí)方法在實(shí)際應(yīng)用中的表現(xiàn)卻可能不盡人意。 統(tǒng)計(jì)學(xué)習(xí)理論(Statisticallearningtheory,SLT)是一門研究小樣本情況下基于數(shù)據(jù)的機(jī)器學(xué)習(xí)理論的科學(xué)，其核心歸納原則為結(jié)構(gòu)風(fēng)險(xiǎn)最小化(Structuralriskminimization，SRM)原則。支撐矢量機(jī)(Supportvectormachine，SVM)是統(tǒng)計(jì)學(xué)習(xí)理論中最實(shí)用、最年輕的部分，是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的普適而有效的統(tǒng)計(jì)學(xué)習(xí)理

3、論最具代表性的新型小樣本學(xué)習(xí)機(jī)，是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的具體實(shí)現(xiàn)。作為統(tǒng)計(jì)學(xué)習(xí)理論中最年輕、最具代表性的核心內(nèi)容，SVM是機(jī)器學(xué)習(xí)領(lǐng)域研究與應(yīng)用的熱點(diǎn)之一，仍處在不斷發(fā)展與豐富階段。 針對(duì)支撐矢量機(jī)面向?qū)嶋H應(yīng)用的幾個(gè)關(guān)鍵問題，展開了相應(yīng)的研究，主要內(nèi)容包括下面四個(gè)方面：將模糊邏輯技術(shù)引入傳統(tǒng)的SVM中以加速傳統(tǒng)SVM的學(xué)習(xí)速度及提高其性能；提出了基于遺傳算法的SVM模型自動(dòng)選擇方法；系統(tǒng)客觀地評(píng)價(jià)了幾種常用的SVM泛化性能指標(biāo)；提

4、出了一種簡(jiǎn)單高效的SVM泛化性能指標(biāo)。主要工作可概括為如下五個(gè)創(chuàng)新點(diǎn)： (1)由于在多數(shù)支撐矢量機(jī)中采用全部數(shù)據(jù)進(jìn)行優(yōu)化計(jì)算得到稀疏的支撐矢量，在優(yōu)化過程中不僅對(duì)支撐矢量進(jìn)行優(yōu)化，也對(duì)非支撐矢量進(jìn)行優(yōu)化，大大增加了不必要的計(jì)算。將模糊邏輯技術(shù)與傳統(tǒng)SVM相結(jié)合，提出了小樣本快速學(xué)習(xí)的模糊預(yù)選支撐矢量機(jī)(FuzzySVM，F(xiàn)SVM)。通過提出的模糊規(guī)則，利用近似SVM(ProximalSVM，PSVM)的快速性在原始數(shù)集上預(yù)選支撐

5、矢量，然后再利用標(biāo)準(zhǔn)SVM在訓(xùn)練樣本數(shù)大大降低的預(yù)抽取的數(shù)集上獲得通常意義的稀疏的支撐矢量。不但提高了SVM的學(xué)習(xí)速度，同時(shí)保持其原有的較好的泛化能力。人造數(shù)據(jù)與Iris、Wine和Soy基準(zhǔn)數(shù)集的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性。(2)針對(duì)現(xiàn)有的多類SVM有可能出現(xiàn)多個(gè)兩類分類器無法判別(即拒分)或一個(gè)數(shù)據(jù)屬于多類(即誤分)的情況，在研究支撐矢量機(jī)分類機(jī)理的基礎(chǔ)上，詳細(xì)分析了SVM多類分類問題中存在的誤分、拒分現(xiàn)象，結(jié)合模糊理論，提出了

6、更加簡(jiǎn)單明確、易于計(jì)算的模糊隸屬度函數(shù)，給出拒分區(qū)域和誤分區(qū)域中的決策函數(shù)，提出了模糊多類支撐矢量機(jī)(Fuzzymulti-SVM，F(xiàn)MSVM)?；鶞?zhǔn)數(shù)據(jù)集、手寫體數(shù)據(jù)以及殘缺不全的高分辨窄脈沖雷達(dá)目標(biāo)一維距離像的識(shí)別實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出的FMSVM的有效性。 (3)正如大多數(shù)學(xué)習(xí)機(jī)算法，SVM中的模型選擇問題在解決過匹配和欠匹配的折衷問題上也是一個(gè)關(guān)鍵所在，特別是在小樣本學(xué)習(xí)中，內(nèi)嵌超參數(shù)的SVM如果參數(shù)選擇不當(dāng)，會(huì)導(dǎo)致系統(tǒng)性

7、能惡化。實(shí)際應(yīng)用時(shí)，多采用試湊的實(shí)驗(yàn)方法來確定SVM模型參數(shù)，不但帶有一定的隨機(jī)性而且不一定獲得最優(yōu)的模型參數(shù)，并且不斷的試湊又浪費(fèi)大量寶貴的時(shí)間。鑒于此，針對(duì)困擾著SVM研究與實(shí)際應(yīng)用的模型選擇這一尚待解決的公開問題，提出了基于實(shí)值遺傳算法(Real-codedgeneticalgorithm，RGA)的SVM模型自動(dòng)選擇方法。Heart基準(zhǔn)數(shù)集與二值遙感軍事目標(biāo)的分類識(shí)別實(shí)驗(yàn)證明了所提出的基于RGA的SVM模型自動(dòng)選擇方法的高效性。

8、 (4)在基于RGA實(shí)現(xiàn)SVM模型自動(dòng)選擇的基礎(chǔ)上，進(jìn)一步提出了指數(shù)編碼實(shí)值遺傳算法(Exponentional-codedgeneticalgorithm，EGA)SVM模型自動(dòng)選擇方法，使之對(duì)大數(shù)集與較大的搜索空間仍然有效。進(jìn)而在很大的參數(shù)空間范圍內(nèi)系統(tǒng)地比較了幾種常用的SVM模型選擇泛化性能指標(biāo)。由于避免了人為確定模型參數(shù)對(duì)SVM性能的影響，從而使對(duì)這幾種泛化性能指標(biāo)的比較評(píng)價(jià)更客觀準(zhǔn)確。機(jī)器學(xué)習(xí)領(lǐng)域基準(zhǔn)數(shù)集的實(shí)驗(yàn)結(jié)果證明

9、了支撐矢量數(shù)界對(duì)一階軟間隔SVM來說，是一個(gè)比較理想的泛化性能指標(biāo)。 (5)在上述工作的基礎(chǔ)上，提出了一種簡(jiǎn)單高效的SVM泛化性能指標(biāo)?；赟VM是對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)和VC置信區(qū)間的一個(gè)折衷，將經(jīng)驗(yàn)風(fēng)險(xiǎn)與支撐矢量數(shù)界顯式結(jié)合，提出了一種新的高效SVM泛化性能指標(biāo)。根據(jù)少數(shù)離群點(diǎn)對(duì)SVM的泛化性能貢獻(xiàn)不大甚至有負(fù)面的影響，且離群點(diǎn)的拉格朗日乘子都較大的特點(diǎn)，所提出的泛化性能指標(biāo)僅計(jì)算拉格朗日乘子較小的一級(jí)支撐矢量，進(jìn)一步提高了其計(jì)算效率。