聚類下決策樹的選擇性集成.pdf

1、決策樹是一種有效的數(shù)據(jù)挖掘方法，具有計算量較小，訓(xùn)練時間較短，方法結(jié)構(gòu)簡單，良好的可理解性和可解釋性，易于從其中提取出規(guī)則等優(yōu)點。因此進一步提高決策樹的性能，尤其是提高其分類精度，使其更加適合數(shù)據(jù)挖掘技術(shù)的發(fā)展要求具有重要的理論和實踐意義。
　　 相關(guān)研究表明：運用數(shù)據(jù)減少技術(shù)在產(chǎn)生決策樹前盡量減少無關(guān)數(shù)據(jù)比在決策樹產(chǎn)生后再剪枝對生成性能更好的決策樹更加有效。因此可以通過盡可能少的訓(xùn)練數(shù)據(jù)來獲得性能盡可能好的決策樹學(xué)習(xí)器。一般地

2、，將多個決策樹模型進行集成所得到的分類精度都要比單個決策樹模型的分類精度高。因此可以通過盡可能少的訓(xùn)練數(shù)據(jù)來獲得盡可能高的決策樹集成精度。而近年來，周志華教授提出的選擇性集成的思想證明了從一批學(xué)習(xí)器中選擇部分進行集成可以得到比用全部學(xué)習(xí)器進行集成還要好或相當(dāng)?shù)男Ч?。故可以通過盡可能少的訓(xùn)練數(shù)據(jù)和盡可能少的個體決策樹學(xué)習(xí)器來獲得更好的決策樹集成效果。
　　 本文基于以上思想，對集成學(xué)習(xí)、聚類和決策樹進行了深入研究，簡介了集成學(xué)習(xí)和

3、選擇性集成的基本思想、有效的原因和條件、主要方法及應(yīng)用，闡述了聚類技術(shù)的基本概念和主要方法，詳細探討了PAM算法，討論了決策樹的基本概念、構(gòu)建和剪枝，分析了決策樹的性能與訓(xùn)練數(shù)據(jù)間的關(guān)系。本文將集成學(xué)習(xí)、聚類和決策樹有機的結(jié)合起來，提出了一種基于代表性數(shù)據(jù)的決策樹選擇性集成方法，完成了以下研究工作：
　　 (1)提出了一種基于代表性數(shù)據(jù)的決策樹集成方法RDDTE(Representative Data based Decisio

4、nTree Ensemble)。傳統(tǒng)的決策樹集成學(xué)習(xí)模型都是從原始訓(xùn)練集訓(xùn)練出來的，而該方法通過聚類算法PAM 從原始訓(xùn)練集中抽取出一些有代表性的數(shù)據(jù)組成新的代表性數(shù)據(jù)集，由這些比原始數(shù)據(jù)個數(shù)更少質(zhì)量更好的代表性數(shù)據(jù)集來訓(xùn)練出決策樹集成模型。實驗表明與Bagging和Boosting 方法相比，RDDTE 不僅使用了較少的訓(xùn)練集，而且較大地改善了決策樹集成的效果。
　　 (2)對現(xiàn)有的基于標(biāo)準遺傳算法的決策樹選擇性集成算法GAS

5、EN-b(Genetic Algorithm based Selective Ensemble with bit representation)進行了改進。由于GASEN-b算法是基于標(biāo)準遺傳算法來進行個體學(xué)習(xí)器的選擇的，然而標(biāo)準遺傳算法存在收斂速度慢和穩(wěn)定性差等缺陷，為了克服這些問題，本文在種群初始化、選擇、交叉和變異上都進行了改進。并將改進的SGA 引入GASEN-b算法，進而對GASEN-b算法進行改進。實驗結(jié)果表明改進的GASE

6、N-b在算法穩(wěn)定性、求解速度和集成精度上都得到了極大的提高。
　　 (3)提出了一種通過盡可能少的訓(xùn)練數(shù)據(jù)，盡可能少的個體學(xué)習(xí)器來獲得盡可能好的決策樹集成效果的方法RDSED(Representative Data basedSelective Ensemble of DecisionTrees)。在機器學(xué)習(xí)平臺Weka 上利用UCI 數(shù)據(jù)庫對RDSED 進行了實驗測試，實驗結(jié)果表明該方法與Bagging，Boosting和GA