基于決策樹和粗糙集的分類方法研究.pdf

1、數(shù)據(jù)挖掘是利用分析工具從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取出隱含在其中、事先未知、潛在有用的信息和知識的過程，建立數(shù)據(jù)間關(guān)系模型，用其做出預(yù)測，從而為決策者 提供輔助。決策樹是一種常用的分類模型，并以其能直接體現(xiàn)數(shù)據(jù)特點(diǎn)，分類效率高、速度快、理解性好等特點(diǎn)在數(shù)據(jù)挖掘及其它領(lǐng)域中被廣泛使用：粗糙集理論是一種處理不精確、不確定和不完備信息的有效方法，隨著其在各領(lǐng)域中的成功應(yīng)用，引起各國廣大學(xué)者的關(guān)注。 本文圍繞

2、決策樹和粗糙集理論進(jìn)行了相關(guān)的研究和創(chuàng)新，主要內(nèi)容包括： 首先，對決策樹、粗糙集理論和粗糙集中信息熵的表現(xiàn)形式進(jìn)行了系統(tǒng)的研究，分析了信息熵與粗糙集理論中上、下近似之間的關(guān)系?？紤]到經(jīng)典的ID3算法用求熵的方法選擇節(jié)點(diǎn)分裂屬性時(shí)沒有考慮到噪聲的影響，對噪聲比較敏感，而可變精度粗糙集理論對噪聲有很好的抑制作用，所以，結(jié)合可變精度的思想對ID3算法進(jìn)行了改進(jìn)，使其更能適應(yīng)噪聲比例較大的數(shù)據(jù)集，更加符合實(shí)際要求。 其次，粗糙集

3、理論中的屬性約簡方法可以在不影響分類能力的前提下對數(shù)據(jù)集進(jìn)行簡化，為此，提出了一種基于屬性重要性概念的啟發(fā)式的屬性約簡算法。 而后，用提出的基于屬性重要性的屬性約簡方法對數(shù)據(jù)集進(jìn)行簡化，以改進(jìn)后的ID3算法為建樹算法，根據(jù)建樹算法的特點(diǎn)選擇了基于期望誤分率的后剪枝算法為樹的剪枝算法，設(shè)計(jì)了一個分類器：之后，用UCI數(shù)據(jù)庫中的多個數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了模擬實(shí)驗(yàn)，實(shí)驗(yàn) 結(jié)果表明，這種改進(jìn)后的決策樹生成算法在抑制噪聲方面要優(yōu)于改進(jìn)