最小二乘支持向量機的稀疏性與泛化性研究.pdf

1、最小二乘支持向量機是一種基于支持向量機的改進(jìn)算法，針對小樣本建模問題，具有結(jié)構(gòu)簡單、全局最優(yōu)、直觀的幾何可解釋性和較強的泛化能力等優(yōu)點。然而，如何提高最小二乘支持向量機算法解的稀疏性以及算法的泛化性，需要進(jìn)一步的研究。本文重點從增強稀疏性和提高泛化性這兩個角度對最小二乘支持向量機進(jìn)行研究。
　　本研究主要內(nèi)容包括：⑴針對最小二乘支持向量機的解缺乏稀疏性的問題，提出了一種l0-范數(shù)稀疏最小二乘支持向量機。該算法首先在最小二乘支持向量

2、機的結(jié)構(gòu)風(fēng)險最小化的優(yōu)化目標(biāo)函數(shù)中加入l0-范數(shù)調(diào)整項，然后在原空間進(jìn)行求解，使用迭代的方法進(jìn)行稀疏化。人工數(shù)據(jù)、標(biāo)稱數(shù)據(jù)集和工業(yè)數(shù)據(jù)的實驗表明該算法具有很強的稀疏性，且能保持很好的泛化性能。⑵針對最小二乘支持向量機的泛化性能提高問題，提出了一種選擇性集成最小二乘支持向量機。選擇性集成算法由個體生成和結(jié)論合成兩方面組成，對于個體生成部分使用噪聲注入的方法生成子模型的新的訓(xùn)練樣本，對于結(jié)論合成方面使用壓縮感知中的貪婪算法OMP算法來進(jìn)行集