基于粒子群優(yōu)化算法的支持向量機(jī)集成學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是近年來受到廣泛關(guān)注的一類學(xué)習(xí)機(jī)器，它以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，具有全局最優(yōu)、適應(yīng)性強(qiáng)、推廣能力強(qiáng)等優(yōu)點(diǎn)，已成功應(yīng)用于模式識別、回歸估計(jì)及概率密度估計(jì)等眾多領(lǐng)域。在SVM的學(xué)習(xí)訓(xùn)練過程中，幾乎所有研究都以單個(gè)SVM作為訓(xùn)練機(jī)，關(guān)于SVM的多學(xué)習(xí)器學(xué)習(xí)方法研究甚少。集成學(xué)習(xí)通過訓(xùn)練多個(gè)學(xué)習(xí)器并將其結(jié)果進(jìn)行合成，可以顯著提高學(xué)習(xí)系統(tǒng)的泛化能力。將集成學(xué)習(xí)技術(shù)引入到SVM學(xué)習(xí)中，可

2、以更好地提高SVM的泛化能力。因此，基于集成學(xué)習(xí)的SVM學(xué)習(xí)方法研究成為目前SVM研究中的一個(gè)重要方向。
　　 本文對分類SVM集成學(xué)習(xí)方法進(jìn)行了系統(tǒng)的研究，介紹了分類SVM的概念和原理。對于集成學(xué)習(xí)技術(shù)的理論分析、實(shí)現(xiàn)方法的設(shè)計(jì)和實(shí)際應(yīng)用進(jìn)行了系統(tǒng)的研究分析，分析了它們的產(chǎn)生背景。介紹了在集成學(xué)習(xí)中的分類問題以及兩種主要的集成學(xué)習(xí)方法Bagging和Boosting。比較了Bagging和Boosting的優(yōu)缺點(diǎn)，考察了它們的

3、生效機(jī)制。分析了選擇性集成的原理和產(chǎn)生背景，并介紹了一種經(jīng)典的選擇性集成方法GASEN。同時(shí)完成了以下研究工作：
　　 (1)提出了兩種分類SVM集成學(xué)習(xí)方法：基于Bagging的分類SVM集成學(xué)習(xí)方法Bagging_SVM和基于AdaBoost的分類SVM集成學(xué)習(xí)方法AdaBoost_SVM。
　　 (2)針對選擇性集成的實(shí)現(xiàn)復(fù)雜度過高問題，借鑒群體智能方法，提出了基于粒子群優(yōu)化算法的選擇性集成算法PSOSEN，將粒子

4、群優(yōu)化算法引入到選擇性集成中，利用高速收斂的粒子群來選擇差異大精度高的個(gè)體分類器，建立最優(yōu)的集成模型。利用UCI數(shù)據(jù)庫對PSOSEN進(jìn)行了實(shí)驗(yàn)測試，實(shí)驗(yàn)結(jié)果表明該方法優(yōu)于Boosting和Bagging方法，在準(zhǔn)確率、時(shí)間效率和集成規(guī)模三個(gè)方面都取得了顯著提高，可以成為一種高效的選擇性集成的實(shí)現(xiàn)方法。
　　 (3)針對粒子群優(yōu)化算法容易陷入局部最優(yōu)解的問題，提出了一種改進(jìn)的粒子群優(yōu)化算法，并將改進(jìn)后的粒子群優(yōu)化算法應(yīng)用在分類SV