改進最小二乘支持向量機及其應用.pdf

1、支持向量機(SVM)是以結(jié)構(gòu)風險最小化為建模準則的機器學習方法，其追求的是在有限樣本信息情況下取得模型學習能力和模型復雜度的有效折衷。作為SVM的改進，最小二乘支持向量機(LS-SVM)繼承了SVM處理小樣本、非線性和局部極小點等問題的優(yōu)勢，但是LS-SVM的解缺失了稀疏性以及魯棒性。另一方面LS-SVM模型的超參數(shù)仍有待進一步優(yōu)化。為此論文針對LS-SVM存在的上述不足，提出如下相應的改進措施：
　　(1)為了提高LS-SVM的

2、擬合精度和泛化能力，提出采用耦合模擬退火(CSA)算法優(yōu)化LS-SVM超參數(shù)。CSA算法通過并行處理多個獨立模擬退火(SA)尋優(yōu)過程，促進優(yōu)化信息共享；然后通過自適應調(diào)整接受溫度值，控制LS-SVM超參數(shù)的接受概率方差，降低接受溫度初始賦值對CSA算法敏感性；最后結(jié)合既有線輪軌現(xiàn)場檢測數(shù)據(jù)，開展了CSA優(yōu)化LS-SVM的性能對比實驗。結(jié)果表明優(yōu)化的LS-SVM取得較好的預測效果。
　　(2)為了降低噪聲數(shù)據(jù)對LS-SVM模型穩(wěn)健性

3、影響，采用迭代魯棒最小二乘支持向量機(IRLS-SVM)對現(xiàn)場數(shù)據(jù)進行建模和預報。首先增加權函數(shù)迭代次數(shù)以增強建模過程魯棒性；然后將具有全局搜索的CSA與局部優(yōu)化的單純形法(SM)相結(jié)合的方法用于優(yōu)化IRLS-SVM超參數(shù)，進而采用魯棒交叉驗證作為CSA-SM算法擬合目標函數(shù)，提高模型超參數(shù)優(yōu)化過程的魯棒性；最后利用變速箱現(xiàn)場齒輪磨損數(shù)據(jù)進行數(shù)值試驗，結(jié)果表明所提出方法的有效性。
　　(3)針對LS-SVM缺失稀疏性的問題，論文相

4、繼提出兩種稀疏模型：
　　①構(gòu)建基于特征向量選擇(FVS)的稀疏最小二乘支持向量機(SLS-SVM)模型。首先采用FVS在特征空間建立特征向量子集，對訓練樣本進行稀疏線性重構(gòu)；然后將稀疏化的特征向量作為支持向量，從而實現(xiàn)對LS-SVM稀疏化建模；最后將所提出的SLS-SVM模型進行了數(shù)值模擬和弓網(wǎng)系統(tǒng)的仿真對比實驗。結(jié)果表明SLS-SVM模型在取得高預報精度的同時，實現(xiàn)支持向量的稀疏化，模型預報速度得到加快。
　　②通過在L

5、S-SVM目標函數(shù)中引入L0-范數(shù)正則項稀疏思想，迭代實現(xiàn)支持向量的稀疏化，并據(jù)此建立迭代稀疏最小二乘支持向量機(ISLS-SVM)。由于ISLS-SVM迭代稀疏過程涉及額外的線性方程組。為了加快ISLS-SVM建模速度，提出首先基于快速留一交叉驗證減少稀疏模型初值設置過程計算量；接著經(jīng)過一系列變換采用更加高效的Chol分解法求解降階后的線性方程組。最后將所提出的改進ISLS-SVM模型應用于UCI標準數(shù)據(jù)預測，結(jié)果表明改進稀疏模型的有