基于規(guī)則的組合分類器的研究.pdf

1、分類是數(shù)據(jù)挖掘的重要研究課題之一.它廣泛地應(yīng)用于科學(xué)實(shí)驗(yàn)和商業(yè)預(yù)測(cè)等領(lǐng)域。如何提高分類模型的準(zhǔn)確率是分類的核心問(wèn)題,組合分類模型在理論和實(shí)驗(yàn)中比單個(gè)分類模型有著明顯的優(yōu)勢(shì)。本文以規(guī)則分類為基礎(chǔ),深入探討了基于規(guī)則的組合分類器。
　　 常見(jiàn)的Bagging和Boosting主要是基于有放回抽樣。在小樣本數(shù)據(jù)集上該抽樣可能引起信息丟失,造成基分類器準(zhǔn)確率下降,從而影響整體分類性能。因此,本文使用全部的數(shù)據(jù)集建立基分類器,保證了信息的

2、完整性,從而使基分類器有著較高的準(zhǔn)確率。
　　 基于上述思想,本文提出了一種使用基于規(guī)則的基分類器建立組合分類器的新方法PCARules。盡管本文的方法也采用基分類器預(yù)測(cè)的加權(quán)投票來(lái)決定待分類樣本的類,但是本文為基分類器創(chuàng)建訓(xùn)練數(shù)據(jù)集的方法與Bagging和Boosting完全不同。本文的方法不是通過(guò)抽樣為基分類器創(chuàng)建數(shù)據(jù)集,而是隨機(jī)地將特征劃分成k個(gè)子集,使用PCA得到每個(gè)子集的主成分,形成新的特征空間,并將所有訓(xùn)練數(shù)據(jù)映射到

3、新的特征空間作為基分類器的訓(xùn)練集。在UCI機(jī)器學(xué)習(xí)庫(kù)的30個(gè)隨機(jī)選取的數(shù)據(jù)集上的實(shí)驗(yàn)表明:本文的算法不僅能夠顯著提高基于規(guī)則的分類方法的分類性能,而且與Bagging和Boosting等傳統(tǒng)組合方法相比,本文的算法在大部分?jǐn)?shù)據(jù)集上都具有更高的分類準(zhǔn)確率。
　　 本文研究了基分類器之間的差異性及其準(zhǔn)確率對(duì)PCARules模型性能的影響。觀察3個(gè)隨機(jī)選取的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,我們發(fā)現(xiàn):基分類器間的高差異性并不能保證組合分類器的高準(zhǔn)確