少數(shù)類數(shù)據(jù)識別方法及性能評價.pdf

1、分類算法是當(dāng)今機器學(xué)習(xí)領(lǐng)域中重要的研究方向之一，很多經(jīng)典算法在實際問題中得到廣泛的應(yīng)用并取得了良好的效果。傳統(tǒng)的分類算法假設(shè)數(shù)據(jù)分布均衡，并且以提高分類算法對數(shù)據(jù)集的整體分類正確率為主要目標(biāo)。但現(xiàn)實中很多數(shù)據(jù)集中的不同類別包含的數(shù)據(jù)數(shù)量是高度傾斜、非平衡的，一個或幾個類別中數(shù)據(jù)數(shù)量遠(yuǎn)遠(yuǎn)大于其他類別中數(shù)據(jù)數(shù)量，這樣的數(shù)據(jù)集稱為類別不平衡數(shù)據(jù)。其中數(shù)量上占優(yōu)的一類或者幾類稱為多數(shù)類，其他稱為少數(shù)類。傳統(tǒng)分類算法分類不平衡數(shù)據(jù)時，以提高數(shù)據(jù)集

2、的整體分類正確率為目標(biāo)，由于少數(shù)類樣例數(shù)量較少，因而預(yù)測傾向數(shù)量上占優(yōu)的多數(shù)類，對少數(shù)類分類識別率不利；然而在很多實際問題中，提高少數(shù)類數(shù)據(jù)識別率往往比提高多數(shù)類數(shù)據(jù)識別率更有價值。然而在某些極端情況下，分類算法把少數(shù)類樣例全部錯分仍能保證較高的整體準(zhǔn)確率。因此，如何提高分類算法對類別不平衡數(shù)據(jù)的分類性能，尤其提高分類算法對少數(shù)類的識別率，成為機器學(xué)習(xí)中研究熱點之一。
　　目前對不平衡數(shù)據(jù)分類問題的研究主要以下幾個方面:首先是數(shù)據(jù)

3、層面，即數(shù)據(jù)預(yù)處理算法，通常通過改變原有數(shù)據(jù)的分布，縮減其不平衡程度，達(dá)到平衡數(shù)據(jù)的目的，常用方法包括采樣技術(shù)、特征提取技術(shù)等；其次是算法層面，即通過修改傳統(tǒng)的分類算法，使之適應(yīng)不平衡數(shù)據(jù)問題，從而在分類時傾向少數(shù)類，提高少數(shù)類數(shù)據(jù)識別率，常用技術(shù)如代價敏感學(xué)習(xí)，閾值方法等；最后是不平衡數(shù)據(jù)分類的性能評價標(biāo)準(zhǔn)，由于傳統(tǒng)分類算法的性能評價標(biāo)準(zhǔn)通常會忽略算法分類少數(shù)類數(shù)據(jù)的識別率，所以如何選擇滿足不平衡數(shù)據(jù)分類的評價標(biāo)準(zhǔn)也是近年的研究熱點之

4、一，G-Mean、F-Measure等都是不平衡數(shù)據(jù)分類中常用標(biāo)準(zhǔn)。
　　本文針對類別不平衡數(shù)據(jù)的分類問題，從數(shù)據(jù)層次以及算法層次兩個方面展開研究，并在原有性能評價標(biāo)準(zhǔn)的基礎(chǔ)上結(jié)合經(jīng)典評價標(biāo)準(zhǔn)提出新的評價標(biāo)準(zhǔn)。主要創(chuàng)新成果有:
　　(1)算法層面和數(shù)據(jù)層面相結(jié)合:將傳統(tǒng)的Bagging算法和SMOTE算法相結(jié)合，使用SMOTE算法對樣例集中的少數(shù)類樣例進行加工，在Bagging算法中根據(jù)類別值和正確率對各個樣例和基分類器的權(quán)

5、重進行調(diào)整。通常情況下，大多數(shù)針對不平衡數(shù)據(jù)的算法只適用于二分類問題，本算法在此基礎(chǔ)上進行改進，能夠分類多類別不平衡數(shù)據(jù)。實驗結(jié)果表明本文提出的算法在二類不平衡數(shù)據(jù)集和多類不平衡數(shù)據(jù)集上達(dá)到了既能保證整體的分類準(zhǔn)確率，又能提高少數(shù)類分類精度的目的。
　　(2)算法層面:在前人研究成果的基礎(chǔ)上提出一種新的應(yīng)用在人工神經(jīng)網(wǎng)絡(luò)中的閾值判定標(biāo)準(zhǔn)。并在理論上證明:該標(biāo)準(zhǔn)能夠在不受樣例類別比例的影響的情況下下使少數(shù)類及多數(shù)類分類精度同時取得最

6、好。本標(biāo)準(zhǔn)以反向傳播算法(BP算法)作為基分類器，結(jié)合遺傳算法搜尋最佳閾值，實驗結(jié)果表明:新標(biāo)準(zhǔn)所產(chǎn)生的閾值能夠提高人工神經(jīng)網(wǎng)絡(luò)對少數(shù)類數(shù)據(jù)的分類準(zhǔn)確率。另外，在此閾值判定標(biāo)準(zhǔn)的基礎(chǔ)上初步提出一種新的評價標(biāo)準(zhǔn)。實驗結(jié)果表明，此標(biāo)準(zhǔn)著重關(guān)注樣例的錯誤率。
　　(3)數(shù)據(jù)層面:針對SMOTE只能根據(jù)線性規(guī)則產(chǎn)生新樣例的缺點，提出一種新的過采樣方法。此新算法能夠通過隨機漫步的方式在少數(shù)類數(shù)據(jù)的基礎(chǔ)上合成新的樣例。經(jīng)過理論證明，在某些假設(shè)