半監(jiān)督孿生支持向量機.pdf

1、孿生支持向量機(Twin Support Vector Machines, TWSVM)是在2007年提出的，在形式上類似于經(jīng)典的支持向量機(Support Vector Machines, SVM)，時間消耗上卻縮減到了SVM的1/4。它的思想來源于近似支持向量機(Proximal Support Vector Machines, PSVM)和基于廣義特征值近似支持向量機(Proximal SVM based on Generaliz

2、ed Eigenvalues, GEPSVM)。與SVM一樣，TWSVM也具有堅實的理論基礎(chǔ)，并且具有推廣能力強等優(yōu)點。自從 TWSVM提出以來，就因為其優(yōu)越的性能而成為了機器學習領(lǐng)域的一個研究熱點。學者們也對其提出了各種優(yōu)化和改進。而 TWSVM的標準形式也只適用于有監(jiān)督學習的情況，而現(xiàn)實生活中產(chǎn)生的大量數(shù)據(jù)都是無標簽的，在有監(jiān)督學習中僅采用有限的有類別標簽數(shù)據(jù)時，很難得到具有強泛化性能的學習器，因此 TWSVM并不能很好地利用這些無

3、標簽數(shù)據(jù)來提高自身的學習能力。面對少量的有標簽數(shù)據(jù)和大量的無標簽數(shù)據(jù)，半監(jiān)督學習方法可以幫助 TWSVM提高解決這類問題的分類性能。將半監(jiān)督學習思想引入TWSVM中，使兩者相結(jié)合，可以改善標準TWSVM的缺點，并獲得更好的分類效果，而這個問題的研究也有其重要的意義，本文的主要研究內(nèi)容如下：
　　首先，本文在標準 TWSVM的基本形式上，即其優(yōu)化函數(shù)中，加入了無標簽數(shù)據(jù)，從而提出了半監(jiān)督孿生支持向量機的最原始模型。原本的標準TWSV

4、M中，都是針對有標簽數(shù)據(jù)而言，整個表達式中也必須是利用有標簽數(shù)據(jù)。而在經(jīng)過對標準 TWSVM的表達式進行一些推導改造之后，能夠?qū)o標簽數(shù)據(jù)也在表達式中體現(xiàn)出來，這意味著我們可以在求解的過程中就利用到無標簽數(shù)據(jù)，而這也可以認為是半監(jiān)督孿生支持向量機的原始模型。
　　其次，本文在考慮到半監(jiān)督孿生支持向量機的原始模型求解復雜后，利用流形正則化框架而提出了基于全局保持的拉普拉斯半監(jiān)督孿生支持向量機(Laplacian Global Pre

5、serving Twin Support Vector Machine, LapGTSVM)。流形正則化框架一直以來作為研究熱點能夠被有效地利用到半監(jiān)督學習中，拉普拉斯孿生支持向量機(Laplacian Twin Support Vector Machines, LapTSVM)便是學者利用流形正則化框架最早提出的一種能將孿生支持向量機運用到半監(jiān)督學習中的機器學習方法。而本文建立的LapGTSVM則是在LapTSVM中嵌入數(shù)據(jù)樣本的全局

6、結(jié)構(gòu)信息，使得所構(gòu)造出來的分類器能夠充分考慮數(shù)據(jù)樣本的全局與局部信息，在性能和穩(wěn)定性方面都有很大的提升。
　　最后，采用半監(jiān)督核中Bagged聚類核這一方法，將孿生支持向量機以另外一種方式來充分利用無標簽數(shù)據(jù)，而提出了基于Bagged聚類核的半監(jiān)督孿生支持向量機(TWSVM Based on Bagged cluster kernel for semi-supervised,Bagged-TWSVM)。該方法中，其主要思想就是利用