最小二乘支持向量機的若干問題與應(yīng)用研究.pdf

1、支持向量機集成了結(jié)構(gòu)風(fēng)險最小化、凸二次規(guī)劃和核函數(shù)映射等幾項技術(shù)，有效地解決了在經(jīng)典機器學(xué)習(xí)中出現(xiàn)的“維數(shù)災(zāi)難”和“局部極小”等傳統(tǒng)困難，并在許多領(lǐng)域得到應(yīng)用。最小二乘支持向量機是支持向量機的一個改進(jìn)模型，秉承了支持向量機的基本思想，并簡化了標(biāo)準(zhǔn)支持向量機的計算復(fù)雜性，在控制領(lǐng)域具有很大的應(yīng)用潛力。本文對最小二乘支持向量機的若干問題進(jìn)行了較為深入的研究，主要貢獻(xiàn)如下：
　　 (1)理論上解釋了LS-SVM核函數(shù)矩陣在某些非正定的

2、情況下也能取得較好學(xué)習(xí)效果的原因。利用矩陣分塊的思想，將LS-SVM的優(yōu)化求解(分類和回歸是等價的)問題轉(zhuǎn)換為一個低階的對稱正定線性系統(tǒng)。并發(fā)展了具有更小條件數(shù)的預(yù)處理共軛梯度算法(Preconditioned Conjugate Gradient，PCG)，從而減少LS-SVM學(xué)習(xí)過程迭代次數(shù)，使訓(xùn)練速度得到明顯提高。
　　 (2)指出了現(xiàn)有L-P小波核函數(shù)的不足：固定了基本小波的頻率帶寬，無法較好逼近頻率豐富的信號。并提出了

3、可調(diào)帶寬的Modified L-P小波核函數(shù)，由于該核函數(shù)通過平移伸縮可以構(gòu)成平方可積空間上一組完備的基，能逼近復(fù)雜的函數(shù)，并通過調(diào)整帶寬因子對突變信號具有逐步精細(xì)的描述特性，提高了支持向量機的泛化性能。
　　 (3)為簡化計算復(fù)雜性，將可調(diào)帶寬的Modified L-P小波核函數(shù)作LS-SVM的核函數(shù)，提出了Modified L-P小波核最小二乘支持向量機。為支持向量機的模型選擇提供了新的核函數(shù)。實驗結(jié)果表明，新的Modifi

4、ed L-P小波核函數(shù)最小二乘支持向量機的建模和逼近能力優(yōu)于基于L-P小波核函數(shù)或高斯核函數(shù)最小二乘支持向量機。
　　 (4)分析了Suykens提出的加權(quán)LS-SVM對存在強野點的稀疏數(shù)據(jù)進(jìn)行回歸建模的不足和避免“過度擬合”，并利用具有全局特性的柯西分布概率密度函數(shù)，提出了基于柯西分布加權(quán)方法。由于考慮了生產(chǎn)過程中樣本數(shù)據(jù)的稀疏性并存在噪聲和野點，因此與原加權(quán)方法相比，新的加權(quán)方法更具有強的抗干擾性。
　　 (5)指出

5、了加權(quán)的Modified L-P小波最小二乘支持向量機是離線式批量算法，當(dāng)新樣本序貫加入模型時，訓(xùn)練將這一時刻前所有數(shù)據(jù)都納入計算樣本，并重復(fù)這一過程，計算復(fù)雜性高，不適合在線學(xué)習(xí)的問題。為此，利用塊矩陣?yán)碚?，提出了新的加?quán)迭代格式，避免了序貫加入新樣本和剔除過時樣本需重新矩陣求逆的運算，并根據(jù)擬合誤差的大小，賦予樣本不同的權(quán)值，使加權(quán)迭代Modified L-P小波最小二乘支持向量機具有了一定的稀疏性和較好的抗噪聲干擾性，并拓展了它在