精確增量式支持向量機的研究與應用.pdf

1、自20世紀90年代中期由Vapnik等人提出支持向量機(SVMs)，由于其具有通用性、魯棒性以及良好推廣性等特點，已經成為解決分類、回歸等統(tǒng)計學習問題一種流行的技術，并廣泛應用于數據挖掘、模式識別以及生物信息學等領域。然而在實際應用中，數據通常是在線環(huán)境下增量提供的(例如信息檢索、協(xié)同過濾、航班延誤預警等)，這時批處理算法由于不具有實時性而通常會失效，增量式算法為解決該類問題提供了一種可行的途徑。
　　 2001年，Cauwen

2、berghs和Poggio首次提出了一個精確有效的增量式支持向量機算法(C&P算法)，本文將以C&P算法為研究對象展開深入的研究，致力于完善C&P算法在理論分析與算法擴展方面(v支持向量機，排列支持向量機)的工作，并應用C&P算法思想解決v支持向量回歸機的解路徑問題。本文取得的創(chuàng)新研究成果如下：
　　 (1)對于標準的C&P算法，探討了算法每次迭代的可行性，并證明了經過有限步迭代后該算法必將收斂于最優(yōu)解。
　　 (2)對

3、于標準的v支持向量分類機，首先給出了一種修改了的問題表示形式，在此基礎上，提出一種新的增量式算法。在標準數據集上的實驗說明了該算法能夠盡量避開不可行的更新路徑，并且在有限步迭代后成功地收斂到最優(yōu)解，在高斯核上獲得更快的收斂速度，比批處理算法效率更高。
　　 (3)在根據最大化間隔原則得出的一個排列問題表達形式的基礎上，提出了一個新的增量式算法。該增量式算法包括兩個步驟：第一步為松弛的絕緣增量調整；第二步為嚴格的恢復調整。理論分析

4、可以證明通過這兩個步驟，該增量式算法盡可能地避開不可行更新路徑，并且在有限步后收斂到問題的最優(yōu)解。在標準數據集上的實驗也說明了本文提出的問題表達形式和由Shashua和Levin提出的兩個問題表達形式有相似的預測精度，而該增量式算法在高斯核上有較快的收斂速度。
　　 (4)對于標準的v支持向量回歸機，首先給出了一種修改了的問題表示形式，在此基礎上，提出了一種新的v解路徑算法，該算法能針對參數v刻畫出所有對應的解。實驗和理論分析說