樣例權重估計及在此基礎上的SVM.pdf

1、樣例權重估計和支持向量機(SVM)是從學習樣例中獲取知識的兩類工具，在解決復雜分類學習任務中具有重要的作用。雖然SVM具有優(yōu)良的泛化性能，但是其應對大規(guī)模樣本、增量樣本及噪聲樣本的能力有待于改善。如何通過樣例權重估計有效獲取可供SVM改善其性能的信息也是一個頗具挑戰(zhàn)性的問題。本文首先對樣例權重估計進行了深入探討，研究如何將機器學習技術應用于樣例權重估計，以提高信息獲取質量，然后研究了基于樣例權重估計的增量SVM和模糊SYM(fuzzys

2、upport vector machine，F(xiàn)SVM)。
　　 本文主要工作包括以下幾個方面：
　　 1.提出了基于零間隔分類面的樣例權重估計方法。該方法為每個樣例建立一個通過它的合適的分類面，即零間隔分類面，該分類面對兩類樣本的分類精度或誤分率作為該樣例的權重。所產(chǎn)生的權重作為概率預測了樣例在未來SVM學習中的重要性，同時也預測了SVM可能達到的分類精度。這表明，新方法產(chǎn)生的權重是根據(jù)樣例對學習機的影響效果計算的，對學

3、習機的性能具有正面引導作用。而傳統(tǒng)幾何距離型權重對學習機的影響情況是很難預測的，對學習機的性能難以進行正面引導。在模擬數(shù)據(jù)和IDA真實數(shù)據(jù)上的實驗結果表明，所提方法對樣例作用的預測性能比傳統(tǒng)方法有顯著提高。
　　 2.提出了基于準支持向量界定的增量SYM。該方法在接收增量樣例的同時淘汰無用歷史樣例，使系統(tǒng)只保持較有價值的學習樣例，減輕系統(tǒng)存儲和計算負擔。準支持向量使用基于零間隔分類面的樣例權重估計方法獲取，具有計算節(jié)時、篩選質量

4、高的綜合優(yōu)勢。在模擬數(shù)據(jù)和IDA真實數(shù)據(jù)上的實驗結果驗證了所提方法的優(yōu)越性。
　　 3.為了抑制噪聲/離群點對SVM的不利影響，利用樣例權重估計方法設計了一種新型模糊權重函數(shù)，并將其與SVM結合形成FSVM。與使用傳統(tǒng)模糊權重函數(shù)的FSVM相比，所提出的FSVM能夠更有效地抑制離群樣例。在模擬數(shù)據(jù)、IDA和UCI真實數(shù)據(jù)上的實驗結果表明新FSVM的分類性能優(yōu)于傳統(tǒng)FSVM。
　　 4.針對數(shù)據(jù)集含噪情況未知的情況，提出了

5、一種權重水平浮動的FSVM，以提高FSVM對不同數(shù)據(jù)集的學習性能，使FSVM具有部分或完全轉變?yōu)镾VM的能力。在該方法中，樣例模糊權重的大小將隨數(shù)據(jù)集的可分性作浮動。不影響分類性能的樣例免于抑制，只有影響分類性能的樣例才會受到適當?shù)囊种啤嘀厮礁拥腇SVM對數(shù)據(jù)集噪聲情況具有智能判別能力，能夠在執(zhí)行標準SVM程序和執(zhí)行具有抑制功能的傳統(tǒng)FSVM程序之間自動切換，減輕了用戶手工選擇不同類型分類器的負擔，克服了盲目、過度抑制樣例影響SV