在線學(xué)習(xí)算法及其應(yīng)用研究.pdf

1、傳統(tǒng)機(jī)器學(xué)習(xí)中的分類(lèi)算法，特別是目前應(yīng)用廣泛的支持向量機(jī)(SVMs)算法，大都是在批學(xué)習(xí)模式下設(shè)計(jì)的，即假設(shè)學(xué)習(xí)前擁有全部訓(xùn)練樣本且可以通過(guò)一次學(xué)習(xí)得到最終決策模型。但實(shí)際中如果數(shù)據(jù)集過(guò)大不能一次性處理或是僅因?yàn)樾聰?shù)據(jù)的到達(dá)而要放棄以前的學(xué)習(xí)成果，重新對(duì)全部數(shù)據(jù)進(jìn)行學(xué)習(xí)，將會(huì)耗費(fèi)大量的時(shí)間和空間資源。針對(duì)上述問(wèn)題，本文以分類(lèi)器的逐步更新為出發(fā)點(diǎn)對(duì)在線學(xué)習(xí)算法及其應(yīng)用進(jìn)行了研究。
　　 對(duì)于支持向量機(jī)型算法，首先針對(duì)在線Lagra

2、ngian SVM所得支持向量集過(guò)大且無(wú)約束的問(wèn)題，引入向量的線性獨(dú)立性判別，提出在線獨(dú)立Lagrangian SVM算法。相比于原算法中KKT條件的學(xué)習(xí)準(zhǔn)則，新方法能夠在有約束的支持向量數(shù)目下達(dá)到原算法的識(shí)別效果，從而節(jié)省了訓(xùn)練和測(cè)試時(shí)間；進(jìn)一步研究了Twin SVM算法，并將其推廣至在線模式下，提出基于SOR的在線Twin SVM算法，該算法利用上一時(shí)刻的計(jì)算結(jié)果進(jìn)行矩陣更新，提升了算法的時(shí)效性。
　　 對(duì)于感知器型算法，針