基于廣泛內核的CVM算法研究及參數(shù)C的選擇.pdf

1、支持向量機是近年來流行的機器學習方法，建立在結構風險最小化原則的基礎上，因此能夠較好地處理小樣本情況下的學習問題。然而在支持向量機算法的大樣本學習應用中，存在著三大必須解決的問題：算法速度問題、支持向量存量問題和算法參數(shù)選擇問題。目前主流的支持向量機優(yōu)化方程和訓練算法難以同時滿足速度快、內存占用少并且支持向量少的要求，主要困難在于支持向量機訓練過程中支持向量個數(shù)太多。核向量機是支持向量機的一個重要改進，可以極大減少支持向量的個數(shù)，但是仍

2、然存在內核限制，泛化能力低等缺陷。所以本文在分析了支持向量機的基本理論和基本性質的基礎上，針對核向量機算法的缺點和不足，提出基于廣泛內核的核向量機算法和基于核聚類的相對距離比較方法，克服了現(xiàn)存算法存在的缺陷，提高了支持向量機的訓練與分類效率。
　　 首先針對最小閉包球問題的內核限制問題，分析了最小閉包球和中心約束閉包球之間的關系；在此基礎上，針對最小閉包球問題的二次規(guī)劃問題，提出新超球的球心和半徑的更新方法，從而得到新的基于廣泛

3、核的核支持向量機算法；從理論上證明了基于廣泛核的核支持向量機算法的收斂性，并給出了該算法的時間復雜度和空間復雜度。
　　 其次針對已有的參數(shù)C選擇算法缺乏啟發(fā)性以及選取困難的不足，本文在分析了核聚類算法和距離比較算法的基礎之后，提出基于核聚類的相對距離比較方法。該算法利用核聚類算法在特征空間對樣本點進行聚類，然后根據每個樣本點到聚類中心的距離的比值，得到參數(shù)C。本文在理論方面，分析了算法的復雜度，選取的參數(shù)提高了核支持向量機算法

4、的泛化能力。
　　 最后，本文在Linux環(huán)境下進行實驗，從CPU運行時間、核向量集的大小及測試準確率三個方面，分別分析比較核向量機、簡單核向量機和基于廣泛內核的核向量機三個算法；分別利用交叉驗證法、結構風險法和基于核聚類的距離計較方法選擇參數(shù)C，然后分析比較算法的預測準確率。實驗結果表明，基于廣泛內核的核向量機去除了內核的限制，降低了算法的復雜度，并提高了算法的泛化能力；基于核聚類的相對距離計較方法可以選取合適的參數(shù)C，提高算