決策樹算法應(yīng)用及并行化研究.pdf

1、在信息科技飛速發(fā)展的今天,各行各業(yè)每天都會產(chǎn)生大量的數(shù)據(jù),這些數(shù)據(jù)中蘊(yùn)含著豐富的知識。對于善于運(yùn)用數(shù)據(jù)分析的用戶來講這就是一筆財富,而對于不了解或者不會對數(shù)據(jù)進(jìn)行發(fā)掘的用戶就是數(shù)據(jù)垃圾。對于不同類型的數(shù)據(jù)需運(yùn)用不同的挖掘算法,但傳統(tǒng)的數(shù)據(jù)挖掘算法處理的數(shù)據(jù)量是有限的,當(dāng)數(shù)據(jù)量顯著增大時,就需要更合適的數(shù)據(jù)挖掘算法來處理。
　　云計算是近幾年興起的新概念,在計算機(jī)領(lǐng)域,從某種意義上來講,可以把云計算當(dāng)做一種網(wǎng)絡(luò),一種可以處理海量數(shù)據(jù)

2、的新模式。開發(fā)云計算架構(gòu)下的數(shù)據(jù)挖掘系統(tǒng)是當(dāng)前處理海量數(shù)據(jù)挖掘的一種趨勢。通過對傳統(tǒng)算法的改進(jìn),將算法移植到云計算平臺,借助云技術(shù)的并行化處理能力,海量數(shù)據(jù)的挖掘問題也將迎刃而解。
　　基于以上的研究背景,首先本文將對數(shù)據(jù)挖掘技術(shù)和云計算平臺進(jìn)行研究,然后對數(shù)據(jù)挖掘決策樹算法進(jìn)行處理,結(jié)合實(shí)際工作情況,對C4.5算法的應(yīng)用進(jìn)行研究,并使用羅比達(dá)法則對算法效能進(jìn)行改進(jìn)。然后根據(jù)海量數(shù)據(jù)挖掘的要求,將能產(chǎn)生簡單決策樹結(jié)構(gòu)的算法-CAR

3、T,進(jìn)行基于隨機(jī)森林模型的改進(jìn)。隨機(jī)森林模型對于決策樹建樹的數(shù)據(jù)類型、數(shù)據(jù)缺失、屬性類別以及決策屬性類別多值要求都不高,基于這些優(yōu)點(diǎn)將CART算法應(yīng)用到隨機(jī)森林模型中能克服CART算法的弊端。最后本文將對算法并行化進(jìn)行研究,通過對幾個并行模型的研究,選擇最合適的MapReduce編程模型將改進(jìn)的CART算法實(shí)現(xiàn)。通過實(shí)驗,將改進(jìn)的CART算法在串行和并行模式下分析大量數(shù)據(jù),實(shí)驗表明算法在有效性、處理速度和加速比等方面都有較好的表現(xiàn),以此