多分類(lèi)器選擇關(guān)鍵技術(shù)的研究.pdf

1、近年來(lái)，多分類(lèi)器融合技術(shù)已成為模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)之一。多分類(lèi)器融合比單個(gè)分類(lèi)器更有效的理由是融合中的分類(lèi)器不僅是精確的而且是錯(cuò)誤差異的，在保證分類(lèi)能力的前提下，融合中個(gè)體分類(lèi)器數(shù)目越少，系統(tǒng)的復(fù)雜性越低。早期構(gòu)造的個(gè)體分類(lèi)器是直接生成的，但實(shí)際中不能保證錯(cuò)誤是差異的，所以生成的個(gè)體分類(lèi)器可能是冗余的。 為此，人們又提出了“過(guò)產(chǎn)生，再選擇”的策略。過(guò)產(chǎn)生階段采用直接策略生成融合中的個(gè)體分類(lèi)器；再選擇階段是對(duì)過(guò)產(chǎn)生階段

2、的優(yōu)化，通過(guò)優(yōu)化產(chǎn)生分類(lèi)效果好的分類(lèi)器系統(tǒng)。研究者希望能夠利用核聚類(lèi)以及差異性度量對(duì)分類(lèi)器融合性能的預(yù)測(cè)來(lái)指導(dǎo)多分類(lèi)器的選擇過(guò)程。 本文針對(duì)分類(lèi)器融合的兩個(gè)目標(biāo)：融合后的分類(lèi)器是精確的：融合中的個(gè)體分類(lèi)器是錯(cuò)誤差異的。對(duì)個(gè)體分類(lèi)器選擇算法進(jìn)行了研究。本文的主要工作包括： (1)提出了一種基于差異性度量的選擇性分類(lèi)器集成方法(Diversity measurebased selected ensemble DMSE)，將周

3、志華的選擇性集成方法SEME(Selectiveensemble of multiple eigenspaees)引入到多分類(lèi)器選擇中，而且利用了差異性度量的方法，對(duì)融合中的分類(lèi)器進(jìn)行了選擇。實(shí)驗(yàn)結(jié)果表明，該算法在減少用于融合的分類(lèi)器數(shù)目的同時(shí)，保證了準(zhǔn)確率比bagging高。 (2)提出了一種基于核聚類(lèi)的多分類(lèi)器選擇算法(Kernel cluster based selectedensemble KCSE)，將無(wú)監(jiān)督分類(lèi)方法核

4、聚類(lèi)引入到多分類(lèi)器選擇系統(tǒng)中，利用核聚類(lèi)的準(zhǔn)確聚類(lèi)將特征空間劃分為小的區(qū)域，從而實(shí)現(xiàn)對(duì)每個(gè)分類(lèi)器性能的度量。理論分析和實(shí)驗(yàn)結(jié)果表明，該算法可以獲得不錯(cuò)的分類(lèi)效果。 (3)從個(gè)體分類(lèi)器準(zhǔn)確率和差異性兩方面考慮，提出了一種基于核聚類(lèi)和差異性度量的多分類(lèi)器選擇算法(Kernel cluster and diversity measure based selectedensemble KCDMSE)。將核聚類(lèi)和差異性度量分別引入到分類(lèi)器