基于近鄰準(zhǔn)則的非平衡數(shù)據(jù)集分類方法研究.pdf

1、在二元分類問題中，非平衡數(shù)據(jù)集可以表述為一個(gè)類的實(shí)例數(shù)遠(yuǎn)少于另一個(gè)類的實(shí)例數(shù)。決策樹、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)的分類方法試圖最優(yōu)化模型的總體分類準(zhǔn)確率而不特別關(guān)注于稀有類，使得它們忽略稀有類實(shí)例。然而，現(xiàn)實(shí)生活中，占少數(shù)類的數(shù)據(jù)往往具有顯著意義，例如，在癌癥檢測(cè)中，有效識(shí)別癌癥患者對(duì)醫(yī)生的診斷更有意義。因此，非平衡數(shù)據(jù)集分類成為人們關(guān)注的一個(gè)熱點(diǎn)問題。
　　本文將K-近鄰思想應(yīng)用到非平衡數(shù)據(jù)集分類中，從組合分類器選擇、特征變換和

2、訓(xùn)練實(shí)例對(duì)測(cè)試實(shí)例的累積影響入手，提出了三種算法以期提高非平衡數(shù)據(jù)集分類的性能，并分別將它們應(yīng)用于UCI數(shù)據(jù)集和實(shí)際生活中的心腦血管數(shù)據(jù)集上，驗(yàn)證本文所提算法的有效性，本文主要的創(chuàng)新點(diǎn)如下:
　　1)提出了基于近鄰準(zhǔn)則的組合分類器選擇方法NNES。組合方法是非平衡數(shù)據(jù)集分類常用的方法，組合方法往往構(gòu)建多個(gè)基分類器，這些分類器中既有對(duì)稀有類有效的也有對(duì)稀有類無效的，如果能夠從分類器庫中選擇對(duì)稀有類實(shí)例有效的分類器，則可以提高稀有類上

3、的分類性能。針對(duì)此問題，論文提出了基于近鄰準(zhǔn)則的組合分類器選擇方法NNES。NNES考慮指定數(shù)據(jù)的局部特征，對(duì)于測(cè)試實(shí)例，搜索它的k個(gè)近鄰作為選擇集，使用能量指標(biāo)從分類器庫中選擇對(duì)這k個(gè)近鄰分類最有效的分類器集合作為子組合分類器預(yù)測(cè)它的類標(biāo)號(hào)。利用K-近鄰思想，NNES從組合分類器庫中選擇對(duì)該局部數(shù)據(jù)有效的基分類器，不僅提高了普通的組合分類器在非平衡數(shù)據(jù)集上的分類性能，而且提高了針對(duì)非平衡數(shù)據(jù)集設(shè)計(jì)的組合分類器的分類性能。NNES方法和

4、抽樣技術(shù)結(jié)合能進(jìn)一步提高非平衡數(shù)據(jù)集上的分類性能。
　　2)提出了基于g-mean的特征變換方法GMFT。K-近鄰基于“近朱者赤，近墨者黑”的原則判定測(cè)試實(shí)例的類別，可以應(yīng)用于非平衡數(shù)據(jù)集分類問題中，為了進(jìn)一步提高K-近鄰方法在非平衡數(shù)據(jù)集上的分類性能，GMFT方法基于g-mean指標(biāo)思想，構(gòu)造了一種新的代價(jià)函數(shù)以保證在變換后的空間中稀有類實(shí)例和普通類實(shí)例具有更好的可分離性，保障K-近鄰模型在普通類和稀有類實(shí)例上的性能。14個(gè)UC

5、I數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，基于g-mean的特征變換方法能有效提高K-近鄰方法在非平衡數(shù)據(jù)集分類問題中的泛化能力，該方法與主成分分析方法和線性判別分析方法相比也表現(xiàn)出明顯優(yōu)勢(shì)。
　　3)提出了基于近鄰準(zhǔn)則的影響函數(shù)方法NNIFC。受影響函數(shù)的啟發(fā)，換個(gè)角度理解分類，推斷測(cè)試實(shí)例的過程可以看成模型根據(jù)每個(gè)訓(xùn)練實(shí)例在該實(shí)例上的累積影響來判別該實(shí)例類標(biāo)號(hào)的過程。事實(shí)上，大部分的分類算法都是利用訓(xùn)練實(shí)例對(duì)測(cè)試實(shí)例的影響來分類的，每個(gè)訓(xùn)練實(shí)

6、例對(duì)測(cè)試實(shí)例都有一定的影響，綜合所有訓(xùn)練實(shí)例對(duì)它的影響，即可判定它的類標(biāo)號(hào)?；诖?，論文從新的角度理解分類問題，提出了影響函數(shù)的分類方法，給出了線性影響函數(shù)、平方影響函數(shù)和指數(shù)影響函數(shù)的定義，并分析這三種影響函數(shù)的分類性能。同時(shí)將影響函數(shù)和近鄰準(zhǔn)則結(jié)合起來，提出了基于近鄰準(zhǔn)則的影響函數(shù)分類方法NNIFC用于非平衡數(shù)據(jù)集分類。對(duì)于未知類標(biāo)號(hào)的實(shí)例，NNIFC根據(jù)定義好的影響函數(shù)計(jì)算k個(gè)近鄰對(duì)它的影響，將該測(cè)試實(shí)例歸類于對(duì)它影響最大的那個(gè)類

7、。好的影響函數(shù)決定好的分類性能，實(shí)驗(yàn)結(jié)果表明基于近鄰準(zhǔn)則的指數(shù)影響函數(shù)分類方法在非平衡數(shù)據(jù)集上取得了較好的分類性能。
　　4)將本文所提出的基于近鄰準(zhǔn)則的組合分類器選擇方法、基于g-mean的特征變換方法和基于近鄰準(zhǔn)則的影響函數(shù)分類方法運(yùn)用在心腦血管數(shù)據(jù)集上。心腦血管數(shù)據(jù)集是從河南省某三甲醫(yī)院采集的病人數(shù)據(jù)，將論文提出的算法運(yùn)用在該數(shù)據(jù)集上以驗(yàn)證本文所提出的算法在實(shí)際數(shù)據(jù)集上的分類性能。心腦血管數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本文所提算法在