非平衡大數(shù)據(jù)應(yīng)用領(lǐng)域的多決策樹及其分布式計(jì)算理論研究.pdf

1、隨著計(jì)算機(jī)的廣泛普及和信息技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生的數(shù)據(jù)呈現(xiàn)大量和非平衡分布特點(diǎn)。分類預(yù)測(cè)器作為數(shù)據(jù)挖掘的重要技術(shù)之一，可以判斷數(shù)據(jù)未來(lái)的發(fā)展趨勢(shì)，發(fā)現(xiàn)數(shù)據(jù)潛在的價(jià)值。傳統(tǒng)的分類預(yù)測(cè)器模型主要考慮總體分類準(zhǔn)確率性能，對(duì)非平衡數(shù)據(jù)分類效果較差，容易忽略具有重要價(jià)值的少數(shù)類數(shù)據(jù)。此外，面對(duì)大規(guī)模訓(xùn)練數(shù)據(jù)時(shí)，普通性能計(jì)算設(shè)備由于存儲(chǔ)空間及內(nèi)存有限，導(dǎo)致算法計(jì)算效率低下甚至系統(tǒng)失效。
　　本研究主要內(nèi)容包括：⑴提出了一種基于代價(jià)敏感的

2、混合屬性選擇策略。詳細(xì)分析和對(duì)比了幾種決策樹算法的性能異同。結(jié)合 C4.5算法的信息增益率和 CART(Classification and Regression Tree)算法的Gini系數(shù)提出基于混合策略的決策樹分裂點(diǎn)最佳屬性選擇指標(biāo)。針對(duì)非平衡數(shù)據(jù)集，采用代價(jià)敏感方法以提高少數(shù)類分類性能，減少因少數(shù)類誤判導(dǎo)致的分類誤差較大問(wèn)題。實(shí)驗(yàn)結(jié)果表明，這種分裂點(diǎn)最佳屬性選擇策略，在保證多數(shù)類分類準(zhǔn)確率的前提下，大幅提高了少數(shù)類分類準(zhǔn)確性。⑵

3、提出了一種基于全屬性信息分裂的改進(jìn)隨機(jī)森林多決策樹算法。為了提高決策樹算法的分類準(zhǔn)確性，同時(shí)考慮根節(jié)點(diǎn)信息對(duì)決策樹的影響，本文在隨機(jī)森林的基礎(chǔ)上，改進(jìn)其因隨機(jī)選擇訓(xùn)練數(shù)據(jù)和屬性導(dǎo)致的少數(shù)類欠學(xué)習(xí)問(wèn)題，采用基于不同根節(jié)點(diǎn)的全屬性建樹方法。實(shí)驗(yàn)結(jié)果表明，基于不同根節(jié)點(diǎn)信息的改進(jìn)隨機(jī)森林多決策樹算法保證了較高的少數(shù)類分類準(zhǔn)確性，并大幅提高整體準(zhǔn)確性。⑶設(shè)計(jì)和實(shí)現(xiàn)了大數(shù)據(jù)分布式存儲(chǔ)和計(jì)算平臺(tái)。針對(duì)大規(guī)模非平衡數(shù)據(jù)集，本文根據(jù)現(xiàn)有的硬件設(shè)備，構(gòu)建

4、了Hadoop分布式存儲(chǔ)和計(jì)算平臺(tái)，可保證數(shù)據(jù)的高可靠性和高存儲(chǔ)能力以及高效的分布式計(jì)算能力。并進(jìn)一步根據(jù)本文分布式多決策樹算法進(jìn)行了環(huán)境參數(shù)設(shè)置和調(diào)優(yōu)，以使平臺(tái)計(jì)算性能處于最佳狀態(tài)。⑷提出了一種新的分布式多決策樹算法計(jì)算模型。研究了算法準(zhǔn)確率、執(zhí)行時(shí)間與樣本大小的關(guān)系，得到結(jié)論：可以針對(duì)不同的數(shù)據(jù)集確定一個(gè)合適規(guī)模的訓(xùn)練樣本使得算法準(zhǔn)確率在該規(guī)模下一直保持較高水平。根據(jù)這一結(jié)論，本文提出了一種將MapReduce粗粒度計(jì)算和線程細(xì)粒度