決策樹分類優(yōu)化算法的研究.pdf

1、數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的數(shù)據(jù)中，提取出有效的和潛在規(guī)律性信息的過程。數(shù)據(jù)挖掘的任務(wù)就是從數(shù)據(jù)集中發(fā)現(xiàn)模式，它融合了數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等多個(gè)領(lǐng)域的理論和知識。在數(shù)據(jù)挖掘中，分類和預(yù)測是被廣泛研究的技術(shù)，并且已經(jīng)廣泛地應(yīng)用于許多領(lǐng)域，對未來商業(yè)和人們的生活也將產(chǎn)生深遠(yuǎn)的影響。決策樹方法自20世紀(jì)60年代以來，在分類、預(yù)測、規(guī)則提取等領(lǐng)域有著廣泛的應(yīng)用，其中以Quilan于1986年提出的ID3算法最為著名。本

2、文主要研究決策樹ID3算法及其改進(jìn)。
　　 本文深入研究了ID3算法的理論基礎(chǔ)及構(gòu)建決策樹的過程等知識。Quinlan提出的ID3算法雖然很經(jīng)典，但也有美中不足之處。第一，算法中使用了對數(shù)計(jì)算，而且計(jì)算過程復(fù)雜；第二，取值較多的屬性被選擇的機(jī)率比較大，即多值偏向問題。為了解決ID3的這些問題，本文引入了泰勒公式和麥克勞林公式，對原ID3算法進(jìn)行化簡，不僅屬性信息增益的計(jì)算步驟減少，而且使信息熵的計(jì)算公式本身變得十分簡潔；對于ID

3、3算法偏向于選取有較多取值的屬性的缺點(diǎn)，用一個(gè)與屬性取值個(gè)數(shù)相關(guān)的函數(shù)對簡化后的屬性信息增益進(jìn)行修正。通過以上兩個(gè)方面的優(yōu)化，新算法在構(gòu)建決策樹的速度上得到提高，同時(shí)也解決了ID3算法多值偏向的不足。然后，使用同一個(gè)小數(shù)據(jù)集對改進(jìn)前后的算法進(jìn)行實(shí)例分析，分別得到其對應(yīng)的決策樹。
　　 最后，用面向?qū)ο蟮腏AVA高級語言實(shí)現(xiàn)了改進(jìn)前后的ID3算法，并且在不同規(guī)模的數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，把改進(jìn)后算法分別與ID3算法、C4.5算法進(jìn)行