支持向量機算法PAC-Bayes邊界理論與實驗研究.pdf

1、PAC-Bayes邊界理論融合了貝葉斯定理和隨機分類器的結(jié)構(gòu)風險最小化原理，為機器學習算法提供了一個理論框架，進而可以推導出最緊的泛化風險邊界。該理論的有效性和正確性可由概率近似正確性理論和貝葉斯決策理論推導得到。PAC-Bayes邊界是衡量機器學習算法泛化性能的重要統(tǒng)計量，具有嚴格的數(shù)學形式和一般意義。
　　本文根據(jù)PAC-Bayes邊界理論，將其運用于評價支持向量機(SVM)的泛化性能。首先，使用五個UCI數(shù)據(jù)集分別進行封閉測

2、試和開放測試，測試得出PAC-Bayes邊界和敏感性、特異性和正確率統(tǒng)計指標。分析PAC-Bayes邊界值和對應的統(tǒng)計指標的協(xié)方差與相關(guān)系數(shù)，實驗結(jié)果表明PAC-Bayes邊界值與分類正確率具有很高的負相關(guān)性，與敏感性和特異性也具有一定的負相關(guān)性。其次，PAC-Bayes邊界方法作為模型性能評價的方法，將它與 N折交叉驗證方法進行比較。它們的實驗結(jié)果是一致的，說明PAC-Bayes邊界能夠較好地反映泛化風險邊界。再次,將PAC-Baye

3、s邊界通過模型選擇應用于SVM，實現(xiàn)快速優(yōu)選SVM的懲罰系數(shù)和核函數(shù)參數(shù)。最后，將SVM和PAC-Bayes邊界應用于蛋白質(zhì)結(jié)構(gòu)預測中。
　　PAC-Bayes邊界在實際應用中的主要問題是，在概念空間下估計不確定的先驗分布和后驗分布。本文通過使用核方法，以再生核希爾伯特空間來構(gòu)造概念空間，并提出以隨機采樣方法和馬爾科夫鏈蒙特卡洛采樣方法來模擬概念空間的后驗分布的采樣，進而計算KL相對熵及PAC-Bayes邊界。同時通過方差最小化方

4、法來評價支持向量的統(tǒng)計顯著性，以實現(xiàn)支持向量及其權(quán)向量的優(yōu)化。在兩個人工設(shè)置的數(shù)據(jù)集上進行實驗，實驗結(jié)果表明，該模擬方法在實際應用中是合理且有效的。
　　在以再生核希爾伯特空間來構(gòu)造概念空間的基礎(chǔ)上，本文還提出一種融合模型反饋信息的改進馬爾科夫鏈蒙特卡洛采樣方法，來模擬對概念空間后驗分布的采樣。同時使用核密度估計方法對后驗分布進行概率密度估計，求得后驗分布與先驗分布的KL相對熵，進而解決PAC-Bayes邊界的計算問題。最后分別采