Boosting模式識別預測方法的抗噪性研究.pdf

1、提升(Boosting)方法是一種新興的數(shù)據(jù)挖掘方法,近些年在模式識別領域受到廣泛關注。它的基本思想是集成多個簡單且性能一般的弱學習算法,最終形成具有高準確度的估計。在分類問題下,Boosting方法通過對多個基分類器的有效整合,生成預測性能更好的集成分類器。
　　AdaBoost算法是提升算法中的代表性算法,在近年來取得很大成功,它能有效降低集成分類器的預測誤差。盡管如此,很多實驗發(fā)現(xiàn)AdaBoost算法對噪音數(shù)據(jù)非常敏感。當訓

2、練集中出現(xiàn)不容忽視的類別噪音或異常數(shù)據(jù)時,AdaBoost算法對弱學習算法的提升作用將受到很大制約。
　　在模式識別中,噪音過濾和嫌疑樣本修正兩種數(shù)據(jù)預處理方法常用于提高含噪音訓練集的數(shù)據(jù)質量。這兩種方式大都建立在專家意見或數(shù)據(jù)的粗糙認識基礎上,難免出現(xiàn)決策風險。噪音過濾手段可能會犧牲正常樣本,減小可用樣本容量,造成信息損失,而修正嫌疑樣本則可能使訓練集增加新的數(shù)據(jù)噪音。
　　目前國內(nèi)外文獻對AdaBoost算法在抗噪性方面

3、的改進主要從損失函數(shù),權重更新機制和基分類器的組合方式等方向做針對性改進。有的改進思路主要改良算法原理,提高算法的魯棒性,而另一些則融入數(shù)據(jù)預處理手法,提出很多基于樣本數(shù)據(jù)的改進 AdaBoost算法。當前在提高 AdaBoost算法的抗噪性方面,很少運用置信度思想表達訓練樣本的嫌疑大小,但置信度方法可避免對嫌疑樣本的硬性刪除或修正,還能充分體現(xiàn)決策者對樣本可靠性預判的把握程度,因此攜帶很多有價值的信息。在一些模式識別方法中出現(xiàn)的置信度

4、思想主要用于樣本的加權或表達預測的把握度。論文基于樣本類別的置信度信息,改進提升算法的目標函數(shù),提出一套二分類問題下基于置信度的改進Boosting算法,為提高Boosting算法的抗噪性提供新的思路。
　　論文還分析了改進 Boosting算法的魯棒性,并與當前文獻中出現(xiàn)的多種提升算法進行比較,分析它們相互間的聯(lián)系以及本文改進算法的突出特點。最后利用實驗驗證改進Boosting算法的有效性。結果表明,改進算法在人工模擬數(shù)據(jù)和UC