支持向量機組合算法.pdf

1、學習機器組合算法的研究越來越受到關(guān)注．有大量的實驗表明把個體學習機器組合起來可以提高推廣能力，但仍有許多理論問題需要解決． 支持向量機(SVM)是近十年來出現(xiàn)的比較流行的模式識別方法，它較好地執(zhí)行了統(tǒng)計學習中的結(jié)構(gòu)風險最小化原則，是統(tǒng)計學習理論的成功實現(xiàn)．但在某些情況下，運用支持向量機算法常不能達到理論期望的水平． 本文嘗試把支持向量機和組合算法相結(jié)合，構(gòu)造一種新的算法，具有兩者的優(yōu)點，彌補支持向量機的不足．這種新的算法

2、稱為支持向量機組合算法． 近幾年來由于經(jīng)驗過程理論在學習理論中的成功應用，產(chǎn)生了穩(wěn)定性這樣一個可以用來界定推廣性的量，它是依賴于數(shù)據(jù)，并且被證明了用它作為所選函數(shù)集復雜性的懲罰項較其他量有優(yōu)勢．本文在上述基礎(chǔ)上對支持向量機組合算法研究了其穩(wěn)定性及推廣能力． 論文主要內(nèi)容安排如下： 第一部分：分析學習算法的一般理論及相關(guān)問題，綜述本文所做研究工作的步驟和成果． 第二部分：首先介紹了組合算法的思想和方法，以及

3、幾種常用的組合算法形式，包括Boosting算法，Bagging算法．然后介紹了支持向量機的思想和方法，以及幾種常用的SVM形式，包括錯分類的SVM，α-范數(shù)軟間隔范數(shù)分類的SVM．最后提供了關(guān)于穩(wěn)定性和推廣性的定理和結(jié)論，作為研究工作的理論工具． 第三部分：把支持向量機和組合算法相結(jié)合，構(gòu)造支持向量機組合算法．運用留一誤差和穩(wěn)定性給出其推廣性的界． 第四部分：運用支持向量機組合算法解決不平衡數(shù)據(jù)集問題． 最后一