基于支持向量機(jī)的主動(dòng)學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是一種性能優(yōu)良的學(xué)習(xí)器，作為一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，為了獲得較好的泛化能力，在訓(xùn)練SVM前，必須有足夠多的帶標(biāo)記樣本來(lái)建立訓(xùn)練集，但在一些實(shí)際應(yīng)用中如垃圾郵件過(guò)濾、醫(yī)學(xué)圖像檢測(cè)等，往往很難獲取到足夠多的帶標(biāo)記樣本。主動(dòng)學(xué)習(xí)(Active Learning)是一種完全利用未標(biāo)記樣本進(jìn)行學(xué)習(xí)的方法，通過(guò)迭代將未標(biāo)記樣本中最有價(jià)值的部分樣本交由專家標(biāo)記，并由此獲得訓(xùn)練集。將其

2、與SVM結(jié)合后，能很好的解決上述問(wèn)題。本文以SVM為基準(zhǔn)學(xué)習(xí)器，采用主動(dòng)學(xué)習(xí)方法，針對(duì)不同維度的數(shù)據(jù)提出了相應(yīng)的SVM主動(dòng)學(xué)習(xí)算法。本文的研究?jī)?nèi)容總結(jié)如下。
　　(1)針對(duì)低維數(shù)據(jù)提出基于距離的SVM主動(dòng)學(xué)習(xí)策略，稱為Dix_SVMactive。此算法主要通過(guò)計(jì)算未標(biāo)記樣本與當(dāng)前超平面的距離、與前幾次迭代中獲取的已標(biāo)記樣本的距離，來(lái)度量樣本的價(jià)值，進(jìn)而判定此未標(biāo)記樣例是否需要交由專家標(biāo)注。
　　(2)針對(duì)高維數(shù)據(jù)提出基于向量

3、余弦的SVM主動(dòng)學(xué)習(xí)策略，稱為Cos_SVMactive。此算法主要通過(guò)計(jì)算當(dāng)前分類間隔內(nèi)的未標(biāo)記樣本與當(dāng)前的已標(biāo)記樣本夾角的余弦值，來(lái)度量高維樣本的價(jià)值，從而決定此樣本是否需要交由專家標(biāo)注。
　　(3) Dix_SVMactive和Cos_SVMactive都是先利用聚類算法對(duì)給定的未標(biāo)記樣本集進(jìn)行粒化，選取與各類的類中心相關(guān)度最大的樣本初始化訓(xùn)練集，并訓(xùn)練得到初始分類器。然后通過(guò)兩種方法定義的樣本置信度度量來(lái)挑選最有價(jià)值樣本進(jìn)

4、行人工標(biāo)注，并在每次迭代中對(duì)訓(xùn)練集的平衡度進(jìn)行調(diào)整，以獲得更好的泛化能力。另外，Cos_SVMactive算法中還采用了新的迭代停止條件。
　　(4)在多個(gè)UCI標(biāo)準(zhǔn)數(shù)據(jù)集上分別對(duì)上述兩個(gè)算法進(jìn)行了一系列實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，與基于隨機(jī)選樣(Random Sample)的SVMactive和傳統(tǒng)SVMactive(TongSVMactive)方法相比，Dix_SVMactive可以提高算法的分類精度;Cos_SVMactive不僅具