多維約束下代價(jià)敏感集成分類(lèi)器的研究.pdf

1、在數(shù)據(jù)挖掘中要面對(duì)三大挑戰(zhàn)性問(wèn)題：挖掘方法、挖掘?qū)ο蠛屯诰蚣s束，分類(lèi)問(wèn)題是三大挑戰(zhàn)中的挖掘方法問(wèn)題。早期的分類(lèi)的效果一般以準(zhǔn)確率為標(biāo)準(zhǔn)，但近來(lái)專(zhuān)家認(rèn)為不同的誤分類(lèi)所帶來(lái)的損失是不相同的，認(rèn)為分類(lèi)的效果應(yīng)以誤分類(lèi)代價(jià)減少的多少為衡量標(biāo)準(zhǔn)。比如，把一真正有病的病人誤診為健康人所要付出的代價(jià)就比把一健康的病人診斷為有病所要付出的代價(jià)大。這樣，以誤分類(lèi)代價(jià)減少的多少為衡量標(biāo)準(zhǔn)成為分類(lèi)研究的熱門(mén)問(wèn)題。比如[4]提出了基于代價(jià)敏感的分類(lèi)算法；[1]

2、提出了最小化測(cè)試代價(jià)和誤分類(lèi)代價(jià)的算法和[2]提出了不同代價(jià)尺度的代價(jià)敏感算法。 代價(jià)敏感的學(xué)習(xí)（Cost-Sensitive Learning，CSL）是一種以誤分類(lèi)代價(jià)最小為衡量標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)方法。CSL借用分類(lèi)學(xué)習(xí)和平衡代價(jià)的決策理論（比如用決策樹(shù)、貝葉斯分類(lèi)器等決策思想），其目標(biāo)是代價(jià)敏感的、追求代價(jià)最小化。 代價(jià)敏感學(xué)習(xí)最早用于解決醫(yī)療診斷系統(tǒng)的需求。在醫(yī)療診斷中，對(duì)于一個(gè)不能很確切地進(jìn)行診斷的病人，就有可能發(fā)

3、生兩種錯(cuò)誤，即無(wú)病實(shí)例判斷為有?。础叭巍保贑SL中被稱(chēng)為FP（False Positive））或有病實(shí)例判定為無(wú)病（即“棄真”，在CSL中為FN（False Negative））。在以往的代價(jià)敏感分類(lèi)學(xué)習(xí)中，多數(shù)專(zhuān)家都對(duì)這一錯(cuò)誤代價(jià)即誤分類(lèi)代價(jià)進(jìn)行研究，并且認(rèn)為違反這兩種錯(cuò)誤FP和FN的代價(jià)是應(yīng)該受到相同的懲罰。本文的模型是建立在多維約束下的代價(jià)敏感學(xué)習(xí)。本文首先介紹機(jī)器學(xué)習(xí)的主要研究領(lǐng)域，并分析目前國(guó)內(nèi)外關(guān)于代價(jià)敏感學(xué)習(xí)的理論與

4、方法，指出現(xiàn)有的代價(jià)敏感學(xué)習(xí)方法的優(yōu)點(diǎn)與不足。針對(duì)不足之處，提出了新的方法，并通過(guò)實(shí)驗(yàn)證明本文提出的方法的有效性和可行性。本文的主要研究?jī)?nèi)容如下： （1）簡(jiǎn)述代價(jià)敏感學(xué)習(xí)（CSL）現(xiàn)有的方法，分析其優(yōu)缺點(diǎn)。同時(shí)也介紹了與代價(jià)敏感學(xué)習(xí)密切相關(guān)的代價(jià)約束的概念和基本方法。 （2）提出多維約束下的代價(jià)敏感學(xué)習(xí)的新方法。 本文改變了前人將代價(jià)敏感學(xué)習(xí)中各種代價(jià)用同一代價(jià)尺度來(lái)衡量的習(xí)慣做法，取而代之用不同的代價(jià)尺度來(lái)衡量

5、不同類(lèi)型的代價(jià)。另外，獲取訓(xùn)練實(shí)例需要代價(jià)且訓(xùn)練階段存在多維約束。 （3）構(gòu)造多維約束條件代價(jià)敏感分類(lèi)器，并將多個(gè)單一多維約束分類(lèi)器綜合進(jìn)行集成學(xué)習(xí)。 通過(guò)若干個(gè)單一多維約束分類(lèi)器進(jìn)行集成學(xué)習(xí)，然后將這些多維約束分類(lèi)器進(jìn)行結(jié)合，得到比單個(gè)多維約束分類(lèi)器更強(qiáng)泛化能力的多維約束集成分類(lèi)器。最后通過(guò)真實(shí)數(shù)據(jù)集的實(shí)驗(yàn)證明所建模型的可行性。 本論文的主要?jiǎng)?chuàng)新點(diǎn)如下： （1）在同一分類(lèi)器中同時(shí)考慮了測(cè)試代價(jià)約束、等待