SVM解的簡化方法及CS中稀疏信號的重構方法研究.pdf

1、機器學習的研究始于上世紀60年代初，至今已經(jīng)廣泛地應用到模式識別、信號處理、圖像處理、數(shù)據(jù)挖掘和智能控制等方面。在機器學習中假設函數(shù)的稀疏性對檢驗速度和推廣性能是至關重要的，而稀疏信號的重構在壓縮感知中也扮演著舉足輕重的作用。本文從支持向量機的稀疏性和壓縮感知中稀疏信號重構方法的角度出發(fā)，結合有約束二次規(guī)劃和無約束二次規(guī)劃的特性，在簡化支持向量以提高分類速度方面和提高壓縮感知中重構算法速度方面進行了研究。本文的主要工作包括以下內容：

2、r>　　 ⑴支持向量機(Support Vector Machine，簡稱SVM)在數(shù)據(jù)的稀疏表示上具有良好的表現(xiàn)，但SVM得到的支持向量仍然存在冗余。為了提高SVM解的稀疏性，本文提出一種l1正則最小二乘規(guī)劃的方法，該方法能夠得到一組約減向量，其個數(shù)要少于支持向量個數(shù)。為了求解l1正則最小二乘規(guī)劃，我們使用序列最小優(yōu)化(Sequence Minimal Optimization，簡稱SMO)方法求解。
　　 ⑵目前支持向量機

3、已經(jīng)在人臉檢測中得到了應用，但是在檢測過程中計算復雜度很大，這是由于支持向量機得到的支持向量個數(shù)較多。對此，我們將l1正則最小二乘規(guī)劃方法，引入到人臉檢測過程中，并在SMO方法的基礎上提出了多元素序列優(yōu)化法(Multi-element Sequence Optimization，簡稱MSO)。MSO方法可以改變當前工作集中元素個數(shù)，從而使算法的速度和分類性能達到動態(tài)的平衡。首先利用SVM進行訓練，然后稀疏化表示支持向量并產(chǎn)生約減向量集，

4、最后把約減向量集應用到檢測過程中。相比較于SVM，實驗證明了本文的方法可大大提高檢測速度。
　　 ⑶近幾年來出現(xiàn)在壓縮感知(Compressed Sensing，簡稱CS)中的稀疏信號重構問題得到了學者的廣泛重視，它要求以高概率和高速度重構稀疏信號。在研究中，我們發(fā)現(xiàn)重構問題的形式相似于我們提出的l1正則最小二乘規(guī)劃，因此我們對前面的MSO方法進行了改進，提出了一種序列重構法(Sequence ReconstructionMet