代價(jià)敏感決策樹算法研究.pdf

1、代價(jià)敏感學(xué)習(xí)是近幾年數(shù)據(jù)挖掘領(lǐng)域的一個(gè)熱門研究方向?；诖鷥r(jià)敏感學(xué)習(xí)的分類算法的目標(biāo)是進(jìn)行分類時(shí)使得樣例的誤分類代價(jià)、屬性檢測(cè)代價(jià)等多種代價(jià)因素的總和最少。決策樹作為一種經(jīng)典的分類算法，其模型具有較好的可理解性、程序運(yùn)行時(shí)較低的時(shí)間和空間復(fù)雜度、分類時(shí)較高的準(zhǔn)確率等優(yōu)點(diǎn)。正是由于決策樹的諸多優(yōu)點(diǎn)，近些年來(lái)不少學(xué)者嘗試將決策樹分類算法應(yīng)用于代價(jià)敏感學(xué)習(xí)問(wèn)題中。
　　現(xiàn)有的代價(jià)敏感決策樹可以分為兩類，一類是建立單一決策樹模型來(lái)解決代價(jià)

2、敏感分類問(wèn)題，如EG2、PM、MinCost等;另一類是通過(guò)集成學(xué)習(xí)的方式來(lái)對(duì)樣本進(jìn)行代價(jià)敏感分類，如MetaCost、AdaBoost等。第一類算法的優(yōu)點(diǎn)是執(zhí)行效率非常高，而且具有較好的可理解性。第二類算法的優(yōu)點(diǎn)是對(duì)樣例進(jìn)行分類時(shí)往往能得到更少的總代價(jià)，或者更高的分類準(zhǔn)確度，但是這類算法執(zhí)行時(shí)的時(shí)間和空間復(fù)雜度較第一類算法卻高出了許多。這兩類算法有一個(gè)共同的缺點(diǎn)，就是沒(méi)有考慮到在分類過(guò)程中樣例的某個(gè)屬性的取值為離群值，或者連續(xù)型屬性離

3、散化過(guò)程中存在模糊性的情況對(duì)分類結(jié)果造成的糟糕的影響。
　　針對(duì)現(xiàn)有的第一類算法的特點(diǎn)，本文提出了相關(guān)的改進(jìn)方法:(1)針對(duì)二分類和多類問(wèn)題，本文分別提出了一種基于評(píng)分策略的代價(jià)敏感決策樹，記為SECSDT和SECSDT_MC。該算法在模型建立階段充分考慮了代價(jià)因素和分類準(zhǔn)確度因素之間的關(guān)系，分別對(duì)這兩類因素進(jìn)行評(píng)分來(lái)選擇分裂屬性。(2)在分類階段，利用置信區(qū)間來(lái)識(shí)別樣例中某屬性的取值是否為離群值，或者離散化過(guò)程中可能出現(xiàn)模糊性的