基于改進隨機梯度下降算法的SVM.pdf

1、在機器學習領域，支持向量機（Support Vector Machine，SVM）是一個經(jīng)典并且強大的學習算法。它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。經(jīng)典的SVM學習算法是從原始問題出發(fā)，運用拉格朗日乘數(shù)法將原始問題轉(zhuǎn)化為對偶問題后進行求解。另一種訓練SVM分類器的思路是直接從其原始問題入手，然后使用隨機梯度下降算法來得到SVM的最優(yōu)解。
　　隨機梯度下降算法是一

2、個被廣泛應用的優(yōu)化算法，學術界針對隨機梯度下降算法進行了許多改進。隨機梯度下降算法的每次迭代過程只需處理一個隨機的訓練樣例，它對線性SVM分類問題可快速得到最優(yōu)解。本文首先將六種常用的隨機梯度下降的改進方法與線性SVM結合，來探究這六種改進是否會對線性SVM目標函數(shù)的優(yōu)化產(chǎn)生正面影響。除線性SVM外，對非線性SVM分類問題，通過引入核函數(shù)則可得到非線性SVM問題的最優(yōu)解。
　　因為隨機梯度下降算法的運行時間與其迭代次數(shù)呈線性相關關