基于組合抽樣技術(shù)的集成學(xué)習(xí)算法研究與應(yīng)用.pdf

1、不平衡數(shù)據(jù)集分類和集成學(xué)習(xí)是當(dāng)今機(jī)器學(xué)習(xí)領(lǐng)域的主要研究?jī)?nèi)容。傳統(tǒng)分類方法大多基于訓(xùn)練數(shù)據(jù)集各類樣本的數(shù)目基本平衡和誤分類代價(jià)相同等假設(shè),以準(zhǔn)確率為分類器性能評(píng)價(jià)指標(biāo),因此在解決不平衡數(shù)據(jù)集分類問(wèn)題時(shí)大大降低了少數(shù)類的分類性能,模型的實(shí)際工程應(yīng)用效果不佳。
　　 不平衡數(shù)據(jù)集往往具有少數(shù)類數(shù)據(jù)絕對(duì)或相對(duì)稀少、噪聲數(shù)據(jù)干擾大、數(shù)據(jù)碎片多等特點(diǎn),應(yīng)用單一分類器難以實(shí)現(xiàn)準(zhǔn)確分類。提升不平衡數(shù)據(jù)集分類性能的方法主要包括數(shù)據(jù)重采樣、訓(xùn)練集劃

2、分、特征選擇、代價(jià)敏感學(xué)習(xí)、分類器集成、單類學(xué)習(xí)等方法。本文通過(guò)實(shí)驗(yàn)分析單純依賴數(shù)據(jù)層面或算法改進(jìn)層面的方法都不能較高地提高少數(shù)類的分類性能。目前常用的SMOTE等重采樣方法存在少數(shù)類分布稀疏、擴(kuò)充數(shù)據(jù)盲目性、多數(shù)類信息損失等問(wèn)題,Adaboost等集成學(xué)習(xí)方法也存在多數(shù)類過(guò)擬合或分類器性能退化問(wèn)題。所以,有效提高少數(shù)類的分類精度并且不影響分類器總體分類性能是一個(gè)值得深入研究的課題。
　　 本文從改善不平衡數(shù)據(jù)集的數(shù)據(jù)分布、適當(dāng)

3、的算法改進(jìn)以及恰當(dāng)?shù)姆诸惼餍阅茉u(píng)價(jià)等方面討論,提出了將組合重抽樣方法與改進(jìn)Adaboost算法相結(jié)合的TSNIMA分類器集成算法。該算法根據(jù)樣本集內(nèi)部分布特性,在SMOTE重抽樣方法的基礎(chǔ)上自適應(yīng)選擇近鄰,從而實(shí)現(xiàn)在合成少數(shù)類樣本時(shí)減小少數(shù)類分布稀疏性對(duì)新樣本的影響程度,改善訓(xùn)練樣本集的不平衡度。由于Adaboost算法的特點(diǎn)是在學(xué)習(xí)階段根據(jù)分類器誤差的大小統(tǒng)一調(diào)整樣本權(quán)重,所以不適合解決不平衡數(shù)據(jù)集分類學(xué)習(xí)問(wèn)題。本文針對(duì)不同類別的樣本

4、采用多種權(quán)重修改策略,有效防止了邊界樣本、噪聲數(shù)據(jù)在學(xué)習(xí)時(shí)對(duì)分類器性能的惡化,提高了少數(shù)類樣本的識(shí)別率。將所提出的算法在WEKA開(kāi)源平臺(tái)上實(shí)現(xiàn),應(yīng)用UCI標(biāo)準(zhǔn)數(shù)據(jù)集中的不平衡數(shù)據(jù)進(jìn)行驗(yàn)證。實(shí)驗(yàn)證明在多項(xiàng)分類器性能指標(biāo)上,TSNIMA算法都優(yōu)于SMOTEBoost、Asymboost以及單一分類等方法。
　　 本文創(chuàng)新性地應(yīng)用這種組合抽樣與集成學(xué)習(xí)方法來(lái)解決實(shí)際工程中的煙葉香型分類問(wèn)題。實(shí)驗(yàn)證明,TSNIMA集成分類器在面對(duì)不平衡