最小二乘支持向量回歸機算法及應用研究.pdf

1、本文針對最小二乘支持向量回歸機(Least squares support vector regression machine, LSSVRM)算法及其在大氣污染物濃度預測中的應用問題,研究了LSSVRM的參數(shù)選擇和訓練算法,主要內容包括:
　　首先,正則化參數(shù)和核參數(shù)影響LSSVRM模型的復雜度和泛化性能,參數(shù)選擇是建模的前提。結合差分進化具有較強的全局優(yōu)化能力和擬牛頓法具有局部開發(fā)能力并且收斂速度快等優(yōu)點,提出差分進化和擬牛頓

2、法相結合的參數(shù)選擇算法。將對參數(shù)可微的快速l折交叉驗證均方誤差作為適應度函數(shù),在每一代種群進化中先采用差分進化算法進行全局搜索,從中選出性能較好的精英個體,再使用擬牛頓法進行局部開發(fā),提高精英個體的性能。在四個標準數(shù)據(jù)集、二元函數(shù)逼近問題和太陽黑子數(shù)預測問題上驗證了所提算法的有效性。
　　其次,針對自適應剪枝LSSVRM算法存在泛化性能不理想和訓練速度慢的不足,提出改進的自適應剪枝LSSVRM算法。為增強泛化性能,采用最小絕對留一

3、誤差的剪枝策略,并提出停止條件中包含所有訓練樣本約束的新目標函數(shù)。為加快訓練速度,使用被剪枝樣本和快速留一誤差加快驗證減量學習后得到的臨時模型。在六個標準數(shù)據(jù)集上驗證了所提算法的有效性。
　　然后,針對LSSVRM的解缺乏稀疏性,采用向量相關分析在高維特征空間約簡支持向量。為使約簡模型最佳逼近原模型,提出原模型與約簡模型預測訓練樣本的誤差平方和作為新性能評價準則。定義了離散加法、減法和乘法算子,并將新性能評價準則作為適應度函數(shù),采

4、用整數(shù)編碼差分進化算法進行全局優(yōu)化得到最優(yōu)約簡模型。在四個標準數(shù)據(jù)集上驗證了所提算法的有效性。
　　再次,針對LSSVRM算法魯棒性差,采用基于留一誤差的魯棒“3σ”準則檢測并刪除異常樣本以增強魯棒性。在保證魯棒性的基礎上，采用基于最小絕對留一誤差的剪枝策略刪除不重要樣本以提高稀疏性。為降低計算量,采用減量學習更新模型和快速留一誤差。在一元函數(shù)數(shù)據(jù)集和五個標準數(shù)據(jù)集上驗證了所提算法的有效性。
　　最后,建立了哈爾濱市冬季大氣