類別不平衡和誤分類代價(jià)不等的數(shù)據(jù)集分類方法及應(yīng)用.pdf

1、類別不平衡數(shù)據(jù)集分類是機(jī)器學(xué)習(xí)和模式識(shí)別中的一個(gè)熱點(diǎn)研究問題。類別不平衡數(shù)據(jù)集存在于許多實(shí)際工程領(lǐng)域，如有色冶金過程的故障檢測(cè)和網(wǎng)絡(luò)入侵檢測(cè)等?，F(xiàn)有的分類算法大多以誤分率最小化為目標(biāo)，并假設(shè)訓(xùn)練數(shù)據(jù)集類別是平衡的和誤分類代價(jià)是相等的。當(dāng)用這些分類算法處理類別不平衡數(shù)據(jù)集分類問題時(shí)，容易對(duì)多數(shù)類過學(xué)習(xí)和對(duì)少數(shù)類欠學(xué)習(xí)，從而導(dǎo)致分類器性能下降。
　　 針對(duì)數(shù)據(jù)集中類別不平衡、誤分類代價(jià)不等、噪音特征和標(biāo)注代價(jià)昂貴等問題，研究了類別不

2、平衡和誤分類代價(jià)不等的數(shù)據(jù)集分類新方法。通過實(shí)際有色冶金過程數(shù)據(jù)集中仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性和優(yōu)越性。主要的研究工作和創(chuàng)新性成果如下:
　　 第二章研究了有色冶金過程中操作模式集的特點(diǎn)。詳細(xì)地分析了有色冶金過程操作模式集中的類別不平衡、誤分類代價(jià)不等、噪音特征、標(biāo)注代價(jià)昂貴等問題。闡述了操作模式分類的假設(shè)。最后給出了有色冶金過程的操作模式分類流程圖。
　　 第三章針對(duì)數(shù)據(jù)集中相對(duì)類別不平衡和誤分類代價(jià)不等問題，提出

3、了代價(jià)敏感概率神經(jīng)網(wǎng)絡(luò)方法。分析了在類別不平衡數(shù)據(jù)集上基于密度核估計(jì)的概率神經(jīng)網(wǎng)絡(luò)和基于密度函數(shù)混合高斯分布的概率神經(jīng)網(wǎng)絡(luò)不能有效識(shí)別少數(shù)類樣本的原因，引入代價(jià)敏感機(jī)制，提出代價(jià)敏感概率神經(jīng)網(wǎng)絡(luò)。并將其應(yīng)用于銅閃熔煉過程操作模式集分類。實(shí)驗(yàn)結(jié)果表明，所提方法提高了故障類和優(yōu)良類操作模式識(shí)別率，并減少了平均誤分類代價(jià)。
　　 第四章針對(duì)數(shù)據(jù)集中極端類別不平衡問題，提出了基于粒子群優(yōu)化和滑動(dòng)窗口的支持向量數(shù)據(jù)描述方法。采用粒子群算法

4、優(yōu)化支持向量數(shù)據(jù)描述的核參數(shù)。利用滑動(dòng)窗口的大窗口大小來控制訓(xùn)練集的規(guī)模，利用滑動(dòng)窗口的小窗口大小測(cè)試誤差來調(diào)整大窗口大小，自適應(yīng)地調(diào)整訓(xùn)練集規(guī)模。將其應(yīng)用于銅轉(zhuǎn)爐熔煉過程的操作模式集分類。實(shí)驗(yàn)結(jié)果表明，所提方法能有效識(shí)別故障類操作模式。
　　 第五章針對(duì)數(shù)據(jù)集中類別不平衡、誤分類代價(jià)不等和噪音特征問題，提出了基于粒子群優(yōu)化的代價(jià)敏感支持向量機(jī)和基于同步優(yōu)化的間隔校正的代價(jià)敏感支持向量機(jī)。首先介紹和比較了標(biāo)準(zhǔn)的支持向量機(jī)、代價(jià)敏

5、感支持向量機(jī)、間隔校正的代價(jià)敏感支持向量機(jī)，并完整地給出了這3種算法求解方法。然后，利用連續(xù)版的粒子群算法優(yōu)化代價(jià)敏感支持向量機(jī)的核參數(shù)、誤分類代價(jià)參數(shù)和間隔參數(shù);同時(shí)利用離散版的粒子群算法優(yōu)化代價(jià)敏感支持向量的特征集。最后，將其應(yīng)用于人工數(shù)據(jù)集和氧化鋁蒸發(fā)過程操作模式集。實(shí)驗(yàn)結(jié)果表明，所提方法能有效識(shí)別氧化鋁蒸發(fā)過程優(yōu)良類和故障類操作模式，選擇合適的操作模式特征。
　　 第六章針對(duì)數(shù)據(jù)集中類別不平衡、誤分類代價(jià)不等和標(biāo)注代價(jià)昂

6、貴問題，提出基于不確定性采樣的自訓(xùn)練代價(jià)敏感支持向量機(jī)。定義了未標(biāo)注樣本的不確定性，選擇不確定性高的未標(biāo)注樣本進(jìn)行標(biāo)注。利用已標(biāo)注樣本集訓(xùn)練3個(gè)代價(jià)敏感支持向量機(jī);用其中兩個(gè)代價(jià)敏感支持向量機(jī)預(yù)測(cè)未標(biāo)注樣本，如果這兩個(gè)代價(jià)敏感支持向量機(jī)預(yù)測(cè)的類標(biāo)一致，則添加到訓(xùn)練集，最終訓(xùn)練出代價(jià)敏感支持向量機(jī)。并用近似概率正確理論分析自訓(xùn)練方法在主動(dòng)代價(jià)敏感學(xué)習(xí)中效果。將其應(yīng)用于銅閃速熔煉過程故障類操作模式檢測(cè)。實(shí)驗(yàn)結(jié)果表明，所提方法不僅能減少標(biāo)注代