隨機(jī)梯度下降和對偶坐標(biāo)下降算法的研究與應(yīng)用.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，模式識(shí)別中涌現(xiàn)出了大量高維大樣本數(shù)據(jù)。對現(xiàn)階段分類算法的處理速度和識(shí)別正確率均提出了挑戰(zhàn)。本文主要研究了凸優(yōu)化算法中對高維大樣本數(shù)據(jù)處理相對較快的算法模型，并進(jìn)行了應(yīng)用實(shí)驗(yàn)，取得了良好效果。
　　首先，本文分析了梯度下降法的原理及優(yōu)缺點(diǎn)，在此基礎(chǔ)之上，引入了隨機(jī)梯度下降法，并詳細(xì)分析了其求解步驟和收斂性。隨后與多類SVM結(jié)合，進(jìn)行了仿真實(shí)驗(yàn)和日?；顒?dòng)識(shí)別實(shí)驗(yàn)，均取得了良好效果。其中，日?；顒?dòng)識(shí)別的分類正確率達(dá)

2、到了95.18％。
　　其次，針對梯度下降法迭代計(jì)算量大，不適合高維數(shù)據(jù)和隨機(jī)梯度下降法連續(xù)隨機(jī)梯度變化較大，有可能指向相反方向的缺點(diǎn)，又引出了半隨機(jī)梯度下降法。本文詳細(xì)推導(dǎo)了半隨機(jī)梯度下降法的算法步驟，并分析了其收斂性和最優(yōu)參數(shù)選取。將其與Logistic回歸模型結(jié)合進(jìn)行了仿真實(shí)驗(yàn)，并應(yīng)用于精神分裂癥的分類診斷問題中。實(shí)驗(yàn)結(jié)果表明，本文方法對精神分裂癥的診斷取得了較好效果，分類正確率達(dá)到91.41%，高于隨機(jī)梯度下降法，且計(jì)算速