最小二乘支持向量機的若干問題與應用研究.pdf

1、支持向量機集成了結構風險最小化、凸二次規(guī)劃和核函數(shù)映射等幾項技術，有效地解決了在經(jīng)典機器學習中出現(xiàn)的“維數(shù)災難”和“局部極小”等傳統(tǒng)困難，并在許多領域得到應用。最小二乘支持向量機是支持向量機的一個改進模型，秉承了支持向量機的基本思想，并簡化了標準支持向量機的計算復雜性，在控制領域具有很大的應用潛力。本文對最小二乘支持向量機的若干問題進行了較為深入的研究，主要貢獻如下：
　　 (1)理論上解釋了LS-SVM核函數(shù)矩陣在某些非正定的

2、情況下也能取得較好學習效果的原因。利用矩陣分塊的思想，將LS-SVM的優(yōu)化求解(分類和回歸是等價的)問題轉換為一個低階的對稱正定線性系統(tǒng)。并發(fā)展了具有更小條件數(shù)的預處理共軛梯度算法(Preconditioned Conjugate Gradient，PCG)，從而減少LS-SVM學習過程迭代次數(shù)，使訓練速度得到明顯提高。
　　 (2)指出了現(xiàn)有L-P小波核函數(shù)的不足：固定了基本小波的頻率帶寬，無法較好逼近頻率豐富的信號。并提出了

3、可調(diào)帶寬的Modified L-P小波核函數(shù)，由于該核函數(shù)通過平移伸縮可以構成平方可積空間上一組完備的基，能逼近復雜的函數(shù)，并通過調(diào)整帶寬因子對突變信號具有逐步精細的描述特性，提高了支持向量機的泛化性能。
　　 (3)為簡化計算復雜性，將可調(diào)帶寬的Modified L-P小波核函數(shù)作LS-SVM的核函數(shù)，提出了Modified L-P小波核最小二乘支持向量機。為支持向量機的模型選擇提供了新的核函數(shù)。實驗結果表明，新的Modifi

4、ed L-P小波核函數(shù)最小二乘支持向量機的建模和逼近能力優(yōu)于基于L-P小波核函數(shù)或高斯核函數(shù)最小二乘支持向量機。
　　 (4)分析了Suykens提出的加權LS-SVM對存在強野點的稀疏數(shù)據(jù)進行回歸建模的不足和避免“過度擬合”，并利用具有全局特性的柯西分布概率密度函數(shù)，提出了基于柯西分布加權方法。由于考慮了生產(chǎn)過程中樣本數(shù)據(jù)的稀疏性并存在噪聲和野點，因此與原加權方法相比，新的加權方法更具有強的抗干擾性。
　　 (5)指出

5、了加權的Modified L-P小波最小二乘支持向量機是離線式批量算法，當新樣本序貫加入模型時，訓練將這一時刻前所有數(shù)據(jù)都納入計算樣本，并重復這一過程，計算復雜性高，不適合在線學習的問題。為此，利用塊矩陣理論，提出了新的加權迭代格式，避免了序貫加入新樣本和剔除過時樣本需重新矩陣求逆的運算，并根據(jù)擬合誤差的大小，賦予樣本不同的權值，使加權迭代Modified L-P小波最小二乘支持向量機具有了一定的稀疏性和較好的抗噪聲干擾性，并拓展了它在