海量樣本下的支持向量機研究.pdf

1、支持向量機(Support Vector Machines，SVM)是Vapnik等人提出的一類新型機器學(xué)習(xí)方法。由于其出色的學(xué)習(xí)性能，近年來已成為機器學(xué)習(xí)界的研究熱點，并在很多領(lǐng)域都得到了成功的應(yīng)用，如生物信息學(xué)、人臉檢測、手寫體數(shù)字識別等。但支持向量機尚有許多問題有待于理論和算法的發(fā)展和完善，如海量樣本下求解過程的冗余問題，對強噪聲的敏感問題，多類別分類問題等。這些問題制約著支持向量機在各個領(lǐng)域的進(jìn)一步應(yīng)用以及該算法對各種類型原始數(shù)

2、據(jù)的支持。特別是對于海量樣本的處理，支持向量機在訓(xùn)練速度和訓(xùn)練精度上還有待提高。高效、快速的實現(xiàn)方法是支持向量機進(jìn)一步實用化的關(guān)鍵技術(shù)，因此本課題著重研究海量樣本下的支持向量機的求解算法，主要從樣本的預(yù)處理和工作集選擇策略兩方面著手，解決海量樣本下支持向量機求解過程的冗余問題。 本文首先詳細(xì)分析了支持向量機算法及其訓(xùn)練過程，剖析了現(xiàn)有的一些算法在運算過程中的迭代機理；深入分析了支持向量機計算迭代過程中迭代緩慢的主要原因；進(jìn)而從樣

3、本預(yù)處理和減少工作集選擇代價方面提出了相應(yīng)的改進(jìn)策略，有效地加快了海量樣本下支持向量機的快速訓(xùn)練算法。 本文主要工作包括： 1．系統(tǒng)分析了支持向量機的理論基礎(chǔ)及其訓(xùn)練問題的數(shù)學(xué)描述,SVM訓(xùn)練問題歸結(jié)為解一個帶有線性等式和不等式約束的大規(guī)模凸二次規(guī)劃問題。概括了SVM的泛化性能，并對當(dāng)前流行的一些快速分解算法進(jìn)行了詳細(xì)的對比分析。 2．研究了海量樣本下支持向量機的樣本約簡策略。樣本約簡的目的就是將支持向量預(yù)先提取

4、作為新的訓(xùn)練集，減小訓(xùn)練代價。本文概括了樣本約簡的三大思路，并提出了一種新的約簡算法——基于K-鄰界子聚類區(qū)的樣本約簡算法。該算法提出K-鄰界子聚類區(qū)的概念，該區(qū)域基本覆蓋了兩類樣本的鄰界區(qū)域，有效地改善了現(xiàn)有算法中鄰界樣本提取不全的缺點。 3．深入研究了SVM工作集的選擇策略。工作集選擇是SVM優(yōu)化算法的關(guān)鍵步驟，直接影響著SVM的訓(xùn)練速度。本文重點討論了三種常見的訓(xùn)練算法：SVMlight、Platt的SMO和LIBSVM。