貝葉斯支持向量機(jī)的數(shù)值實(shí)現(xiàn)方法研究.pdf

1、　　支持向量機(jī)(SVM)由于其獨(dú)特的優(yōu)勢(shì),已得到了廣泛應(yīng)用。貝葉斯理論在機(jī)器學(xué)習(xí)領(lǐng)域扮演了相當(dāng)重要的角色。SVM與貝葉斯理論的結(jié)合是一個(gè)值得關(guān)注的研究課題,二者的結(jié)合可導(dǎo)出貝葉斯支持向量機(jī)(BSVM),其實(shí)質(zhì)是將SVM置于貝葉斯顯著度框架中求解最優(yōu)超參數(shù)。但是顯著度框架是一種半解析化方法,在實(shí)際應(yīng)用中很難獲得解析解,這導(dǎo)致BSVM只能借助數(shù)值計(jì)算方法來實(shí)現(xiàn)。為此,本文主要研究基于混合蒙特卡洛(HMC)抽樣法進(jìn)行BSVM的數(shù)值實(shí)現(xiàn),具體研

2、究工作如下：
　　(1)改進(jìn)BSVM的數(shù)值實(shí)現(xiàn)方法。由于混合蒙特卡洛(HMC)抽樣法在解決隨機(jī)性問題方面的優(yōu)勢(shì),為此提出基于HMC抽樣的BSVM數(shù)值實(shí)現(xiàn)方法,主要包括提出問題、構(gòu)建模型、抽樣、求解等。其中,抽樣過程中引入了“蛙跳”技巧可以避免“隨機(jī)游走”現(xiàn)象。BSVM的四個(gè)性能實(shí)驗(yàn)表明：蛙跳步數(shù)和蛙跳步長(zhǎng)對(duì)BSVM的回歸準(zhǔn)確度影響比較大,而抽樣次數(shù)對(duì)其回歸準(zhǔn)確度的影響比較??；BSVM的學(xué)習(xí)時(shí)間隨蛙跳步數(shù)以及抽樣次數(shù)的增加而線性增

3、加,但跟蛙跳步長(zhǎng)沒有這樣的關(guān)系；在回歸方面,BSVM的優(yōu)勢(shì)是抗噪能力強(qiáng),劣勢(shì)是事先需要設(shè)定的參數(shù)較多。
　　(2)混合蒙特卡洛抽樣的BSVM與其它方法的比較。首先,對(duì)BSVM兩種數(shù)值實(shí)現(xiàn)方法即拉普拉斯逼近法和混合蒙特卡洛法抽樣法進(jìn)行比較。在比較過程中,用 BSVM 的兩種數(shù)值實(shí)現(xiàn)方法分別去解決同一個(gè)回歸問題。實(shí)驗(yàn)表明：兩種數(shù)值實(shí)現(xiàn)方法的回歸誤差相當(dāng),但是混合蒙特卡洛抽樣法的學(xué)習(xí)時(shí)間更短。當(dāng)拉普拉斯逼近法的迭代次數(shù)增多時(shí),雖然它的

4、回歸誤差得到減小,但學(xué)習(xí)時(shí)間也相應(yīng)顯著增加。再次,對(duì)基于混合蒙特卡洛抽樣法的BSVM與SVM、相關(guān)向量機(jī)(RVM)進(jìn)行比較。實(shí)驗(yàn)表明：BSVM的抗噪能力強(qiáng),方法比較穩(wěn)健
　　(3)將基于混合蒙特卡洛抽樣的BSVM用于解決超市銷量數(shù)據(jù)回歸實(shí)際問題。實(shí)驗(yàn)中用三類商品數(shù)據(jù)作為學(xué)習(xí)樣本進(jìn)行回歸實(shí)驗(yàn),每個(gè)樣本集分別由超市的手撕條、山楂片、阿根廷翅尖的每月銷售量組成,實(shí)驗(yàn)結(jié)果的回歸曲線誤差很小,表明BSVM具有實(shí)際應(yīng)用價(jià)值。為了測(cè)試BSVM