半監(jiān)督協(xié)同訓(xùn)練算法的研究.pdf

1、傳統(tǒng)的監(jiān)督學(xué)習(xí)往往需要大量的帶類別標(biāo)簽(Label)的樣本對(duì)分類器進(jìn)行訓(xùn)練。然而,在實(shí)際應(yīng)用中,有標(biāo)記樣本(Labeled data)的獲取較困難,無(wú)標(biāo)記樣本(Unlabeled data)的獲取卻很容易。因此,如何將大量無(wú)標(biāo)記數(shù)據(jù)利用起來(lái),提高分類器性能的半監(jiān)督學(xué)習(xí)成為研究熱點(diǎn)。在半監(jiān)督學(xué)習(xí)領(lǐng)域研究的眾多分支中,協(xié)同訓(xùn)練算法擁有易理解、穩(wěn)定、收斂快等特點(diǎn),引起了眾多學(xué)者的廣泛關(guān)注,取得了很多研究成果。隨著其理論模型的不斷完善,基于協(xié)同

2、訓(xùn)練算法的應(yīng)用也逐漸滲透到很多領(lǐng)域,如自然語(yǔ)言處理,圖像檢索以及模式識(shí)別等領(lǐng)域。本文首先對(duì)半監(jiān)督協(xié)同訓(xùn)練算法的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了介紹,然后,對(duì)協(xié)同訓(xùn)練算法的發(fā)展過(guò)程及算法存在的主要問(wèn)題進(jìn)行了分析,最后詳細(xì)介紹了本文在半監(jiān)督協(xié)同訓(xùn)練算法領(lǐng)域開(kāi)展的工作。本研究主要內(nèi)容包括：
　　 ⑴針對(duì)協(xié)同訓(xùn)練算法中分類器差異性小的問(wèn)題,提出了Tri-training框架下的多視圖半監(jiān)督神經(jīng)網(wǎng)絡(luò)算法,算法通過(guò)神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的多樣性來(lái)擴(kuò)展參與協(xié)同

3、訓(xùn)練的神經(jīng)網(wǎng)絡(luò)之間的獨(dú)立性,在一定程度上解決了協(xié)同訓(xùn)練算法中分類器差異性小,算法在性能提升上受到限制的問(wèn)題,同時(shí)提高了神經(jīng)網(wǎng)絡(luò)的分類精度,也改善了協(xié)同訓(xùn)練算法的性能。
　　 ⑵由于無(wú)標(biāo)記數(shù)據(jù)引入容易產(chǎn)生噪音,從而降低算法性能,本文提出了基于遺傳算法的無(wú)標(biāo)記數(shù)據(jù)選擇半監(jiān)督協(xié)同訓(xùn)練算法,算法利用遺傳算法的尋優(yōu)功能間接的協(xié)助協(xié)同訓(xùn)練算法挑選有價(jià)值的無(wú)標(biāo)記數(shù)據(jù),以正確有效更新參與協(xié)同訓(xùn)練的分類器,防止有噪聲的無(wú)標(biāo)記數(shù)據(jù)引入,從而導(dǎo)致算法

4、性能降低。
　　 ⑶為進(jìn)一步有效選擇無(wú)標(biāo)記數(shù)據(jù),減少分類誤差,提出了基于圖的顯式置信度估計(jì)半監(jiān)督協(xié)同訓(xùn)練算法,算法結(jié)合了基于圖的半監(jiān)督學(xué)習(xí)算法和半監(jiān)督協(xié)同訓(xùn)練算法的優(yōu)點(diǎn)。利用有標(biāo)記樣本和無(wú)標(biāo)記樣本自身的結(jié)構(gòu)信息,顯式計(jì)算無(wú)標(biāo)記樣本屬于各類別的概率,結(jié)合三個(gè)分類器協(xié)同訓(xùn)練隱式地對(duì)無(wú)標(biāo)記樣本的置信度進(jìn)行比較。通過(guò)顯式和隱式雙重置信度估計(jì)方法,提高對(duì)無(wú)標(biāo)記數(shù)據(jù)選擇的標(biāo)準(zhǔn),防止噪聲數(shù)據(jù)的引入。在UCI數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證了以上的方法的有效性