基于核函數的錯誤分類樣例研究.pdf

1、統(tǒng)計學習理論綜合了機器學習、統(tǒng)計學習、及神經網絡等方面的技術，通過利用結構風險最小化原則，在經驗風險最小化的同時，有效地提高了算法的泛化能力，并且統(tǒng)計學習理論為機器學習中的小樣本情況提供了有力的理論基礎。
　　20世紀90年代 VaPnik等學者基于統(tǒng)計學習理論和核技術提出了一種新的機器學習方法支持向量機(Support Vector Machine，SVM)，該方法是建立在結構風險最小化原則基礎之上的，其核心思想是通過引入核函數

2、技巧，把低維空間線性不可分問題，映射成高維空間線性可分問題，它能較好的解決非線性、高維識別、小樣本和局部極小點等問題。SVM的發(fā)展，不但豐富和發(fā)展了統(tǒng)計學理論，而且在很多應用領域得到應用和推廣，如:文本分類、手寫體識別、人臉識別、WEB挖掘、回歸分析等。如何進一步改進支持向量機的性能，一直以來都是模式識別和機器學習領域關注和研究的熱點。
　　核函數的支持向量機在分類和回歸等方面雖然都已經取得了很好的效果，但由于人們在利用核函數的支

3、持向量機對數據分析時，往往只是注意和利用正確的分類數據信息，卻忽略了錯誤分類數據中的有用信息，并且核函數的支持向量機的分類效果對核函數和核參數的選擇具有很大的依賴性。因此如何利用核函數來有效地發(fā)掘錯誤分類數據中的有用信息來提高分類器的分類和預測能力具有很好的現(xiàn)實意義。
　　本文在核函數的支持向量機基礎上，通過利用錯誤分類樣例中的有效信息，完成了以下方面的工作:
　　1.對支持向量機理論和算法進行了介紹和研究，簡要介紹了核函數

4、的發(fā)展歷史、理論基礎和基本思想；介紹了機器學習和統(tǒng)計學習理論基本知識。
　　2.在核函數支持向量機基礎上，提出了一種基于感知器的SVM分類模型(Support Vector Machine Classification based on Perceptron，PSVM)，該模型在對分類器的訓練中，引入感知器分類思想，其先利用SVM的核函數進行核計算，判斷其分類性能，分類正確則不做任何修改，反之則轉化成感知器分類問題。實驗結果表明該

5、模型不但能提高 SVM的分類性能，而且還可以降低SVM分類性能對核函數及參數選擇的依賴性。
　　3.在核函數支持向量機基礎上，通過利用差分進化算法中的數據處理操作，提出了一種基于差分進化算法的SVM分類模型(Support Vector Machine Classification based on Differential Evolution，DSVM)。該模型通過利用支持向量機的支持向量，結合差分進化算法中的數據變異、交叉操作