隨機(jī)森林算法優(yōu)化研究.pdf

1、隨機(jī)森林算法(Random Forests)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的組合分類(lèi)器，它將bootstrap重抽樣方法和決策樹(shù)算法相結(jié)合，該算法的本質(zhì)是構(gòu)建一個(gè)樹(shù)型分類(lèi)器{hk(x)，k=1，…}的集合，然后使用該集合通過(guò)投票進(jìn)行分類(lèi)和預(yù)測(cè)。由于該算法較好地解決了單分類(lèi)器在性能上無(wú)法提升的瓶頸，因此具有較好的性能，能應(yīng)用于各種分類(lèi)篩選和預(yù)測(cè)中。當(dāng)然，該算法也存在一些有待完善的地方，比如不能很好地處理非平衡數(shù)據(jù)、運(yùn)行效率和分類(lèi)精度有待提升等。針

2、對(duì)這些不足，理論界主要集中在三個(gè)方面進(jìn)行優(yōu)化研究，一是引進(jìn)新的算法，二是對(duì)將數(shù)據(jù)預(yù)處理融入到算法中，三是針對(duì)算法自身構(gòu)建過(guò)程進(jìn)行優(yōu)化。本文在充分查閱國(guó)內(nèi)外相關(guān)資料的基礎(chǔ)上，對(duì)后二個(gè)方面開(kāi)展了優(yōu)化研究。
　　一、在數(shù)據(jù)預(yù)處理方面，提出了兩種改進(jìn)隨機(jī)森林的優(yōu)化算法。
　　首先，針對(duì)隨機(jī)森林不能很好地處理非平衡數(shù)據(jù)的問(wèn)題，根據(jù)聚類(lèi)算法思想和物理學(xué)的重心理論，本文提出了C_SMOTE算法，該算法能較好地降低數(shù)據(jù)集的非平衡性，從而提升

3、了隨機(jī)森林算法的分類(lèi)性能。該算法針對(duì)SMOTE算法在選取“人造”樣本時(shí)，存在一定的盲目性現(xiàn)象和容易產(chǎn)生邊緣化的問(wèn)題，提出了從負(fù)類(lèi)樣本的重心出發(fā)，有目的構(gòu)造“人造”樣本的新思路，使得在“人造”負(fù)類(lèi)樣本的過(guò)程中，新產(chǎn)生的樣本有向重心匯聚的趨勢(shì)，這樣就可以有效地解決了SMOTE算法的缺陷，從而實(shí)現(xiàn)了既保留原有數(shù)據(jù)集的信息，又較好地解決數(shù)據(jù)集的非平衡性問(wèn)題，從而在很大的程度上提升了隨機(jī)森林算法在非平衡數(shù)據(jù)集上的分類(lèi)性能。
　　其次，隨機(jī)森

4、林算法在進(jìn)行節(jié)點(diǎn)分裂時(shí)常采用C4.5算法，但C4.5算法在處理連續(xù)變量時(shí)，采用二分離散化方法，該方法使得隨機(jī)森林算法運(yùn)行效率由數(shù)據(jù)集中連續(xù)變量的數(shù)量N決定，N值越大，隨機(jī)森林算法執(zhí)行效率越低。針對(duì)此現(xiàn)象，本文提出了一種降低N值的新算法，該算法可以很好地為C4.5算法提供簡(jiǎn)約的數(shù)據(jù)集，從而提升C4.5算法的執(zhí)行效率。新算法是在借鑒CHI2系列算法思想的基礎(chǔ)上，針對(duì)CHI2系列算法沒(méi)有考慮x2統(tǒng)計(jì)量和真實(shí)值之間存在偏差的問(wèn)題而提出的。該算法

5、使用x2矯正公式較好地處理了CHI2系列算法中的偏差問(wèn)題。文中通過(guò)使用三種通用的UCI數(shù)據(jù)集，將新算法和沒(méi)有解決偏差問(wèn)題CHI2系列算法，在改善隨機(jī)森林算法性能方面進(jìn)行了比較分析。實(shí)證數(shù)據(jù)表明，和CHI2系列算法相比，新算法能更有效地約簡(jiǎn)數(shù)據(jù)集中的冗余信息，使連續(xù)變理取值的數(shù)量很大程度地減少，從而提升隨機(jī)森林算法的執(zhí)行效率。
　　二、在隨機(jī)森林自身構(gòu)建過(guò)程優(yōu)化方面，提出了一種新的節(jié)點(diǎn)分裂混合算法。
　　本文通過(guò)分析隨機(jī)森林算

6、法分類(lèi)性能的影響因素，針對(duì)隨機(jī)森林在生成過(guò)程中，節(jié)點(diǎn)分裂算法不同引起的隨機(jī)森林分類(lèi)性能不同的現(xiàn)象，提出了一種基于線(xiàn)性組合的節(jié)點(diǎn)分裂混合算法。該算法將C4.5算法和CART算法在節(jié)點(diǎn)分裂時(shí)的函數(shù)進(jìn)行線(xiàn)性組合，通過(guò)變換組合函數(shù)中的系數(shù)，充分發(fā)揮了這兩種算法優(yōu)勢(shì)，較好地實(shí)現(xiàn)了隨機(jī)森林算法分類(lèi)性能的優(yōu)化。同時(shí)，還詳細(xì)分析了混合算法的穩(wěn)定性、相關(guān)度和強(qiáng)度。首先，通過(guò)構(gòu)造F統(tǒng)計(jì)量進(jìn)行方差分析，對(duì)該混合算法的穩(wěn)定性進(jìn)行了檢驗(yàn)。統(tǒng)計(jì)結(jié)果表明，該隨機(jī)森林

7、的混合算法隨著森林中樹(shù)木個(gè)數(shù)的變化雖然存在一定的不穩(wěn)定性，但當(dāng)森林中樹(shù)木達(dá)到800棵時(shí)，算法可以達(dá)到穩(wěn)定的狀態(tài)。然后，對(duì)混合算法的相關(guān)度和強(qiáng)度進(jìn)行了理論上的推導(dǎo)和論述，同時(shí)實(shí)現(xiàn)了隨機(jī)森林的平均相關(guān)度和強(qiáng)度的計(jì)算，并使用實(shí)證分析的辦法，驗(yàn)證了平均相關(guān)度和算法分類(lèi)精度存在負(fù)相關(guān)，森林的平均強(qiáng)度和算法的分類(lèi)精度存在正相關(guān)的關(guān)系，并得了出混合算法對(duì)提升森林的平均強(qiáng)度和降低平均相關(guān)度較有其他算法具有明顯的優(yōu)勢(shì)，也從另一個(gè)方面驗(yàn)證了混合算法的優(yōu)越性