基于抽樣的集成進化算法研究.pdf

1、集成學(xué)習(xí)是一種新的機器學(xué)習(xí)方式，它使用多個弱學(xué)習(xí)器來對同一個問題求解，能夠顯著地提高系統(tǒng)的泛化能力。因此，從20世紀(jì)90年代開始，對集成學(xué)習(xí)的研究及發(fā)展成為了一種趨勢。經(jīng)過眾多學(xué)者的深入研究，集成學(xué)習(xí)已經(jīng)成功應(yīng)用于圖像處理、Web信息挖掘、生物特征識別等多個領(lǐng)域。
　　集成學(xué)習(xí)兩大算法族:Boosting和Bagging目前存在的主要不足有:訓(xùn)練樣本不夠、集成規(guī)模大。本文主要進行了如下工作:
　　1、提出一種限制輸出模型規(guī)模

2、的集成進化分類算法(Ensemble EvolveClassification Algorithm for Controlling the Size of Final Model,ECSM)。Boosting算法族中比較知名的AdaBoost算法采用迭代機制，每一輪都產(chǎn)生一個精度較低的弱學(xué)習(xí)器，并更新訓(xùn)練樣本的權(quán)重，使正確分類的樣本權(quán)重減小，錯分類樣本的權(quán)重變大，最后采用加權(quán)投票集成輸出模型。該算法經(jīng)過多次迭代后會產(chǎn)生大量的弱學(xué)習(xí)器，模

3、型規(guī)模過于龐大且不利于表達，因而不具備良好的可解釋性。針對上述問題本文將遺傳算法引入到AdaBoost算法當(dāng)中，提出了ECSM算法。ECSM算法在訓(xùn)練過程中不再對樣本進行累計賦值，而是從弱學(xué)習(xí)器入手，通過基因操作和評價函數(shù)找出每一輪最優(yōu)的弱學(xué)習(xí)器，從而解決了最終模型規(guī)模過于龐大的問題。通過實驗將該算法與傳統(tǒng)的AdaBoost算法進行比較，驗證了ECSM算法在保持分類精度的前提下，模型規(guī)模比AdaBoost的要小。
　　2、提出基于

4、一致性樣本抽樣的集成進化分類算法(Ensemble EvolveClassification Algorithm base on Consistency Sampling,EECS)。ECSM算法可以在保持精度的前提下縮減模型規(guī)模，但對大樣本數(shù)據(jù)的處理能力較弱，且在每一輪都需要進行全局搜索，導(dǎo)致模型建立時間較長。針對上述問題，本文設(shè)計了一個基于分類結(jié)果一致性計算公式，通過該公式計算出本輪的分類結(jié)果與之前分類結(jié)果的一致性值，然后用該值去更