用未標記數(shù)據(jù)增強分類器能力的研究.pdf

1、傳統(tǒng)的分類問題需要通過大量的標記樣本進行學(xué)習(xí)，以預(yù)測未來樣本的標記。然而在實際的分類應(yīng)用中，比如圖像分析、網(wǎng)頁分類、蛋白質(zhì)結(jié)構(gòu)預(yù)測等，標記樣本往往數(shù)量比較少，獲取成本比較高；而未標記樣本往往大量存在，其獲取成本也相對較低。因此如何利用大量未標記數(shù)據(jù)來改善學(xué)習(xí)的效果，成為了機器學(xué)習(xí)領(lǐng)域備受關(guān)注的課題，針對此問題的研究方法被稱之為半監(jiān)督學(xué)習(xí)。
　　 以往許多半監(jiān)督學(xué)習(xí)研究工作都側(cè)重于設(shè)計專有的學(xué)習(xí)方法，使其能夠利用大量未標記數(shù)據(jù)輔助

2、標記數(shù)據(jù)的學(xué)習(xí)。然而，經(jīng)常會有這樣的情況，對于特定應(yīng)用，已經(jīng)有了最合適的監(jiān)督學(xué)習(xí)方法，希望能夠借助大量未標記數(shù)據(jù)來提高已有方法的效果。同時，對于那些已有的半監(jiān)督學(xué)習(xí)方法而言，希望在其基礎(chǔ)之上，運用某種方法再次提高它的效果。所以尋找一種能夠結(jié)合大量的未標記數(shù)據(jù)來增強已有學(xué)習(xí)器的效果的方法，非常有實際意義。為區(qū)別于一般的半監(jiān)督學(xué)習(xí)方法，本文稱這種半監(jiān)督學(xué)習(xí)的思路為半監(jiān)督增強（Semi-supervisedImprovement，SSI）。<

3、br>　　 大部分的半監(jiān)督增強方法都采用基于置信度的迭代式框架，存在的主要問題有：受到置信度方法的限制，只能增強軟標記的分類方法；依靠分類器現(xiàn)有模型擴展標記數(shù)據(jù)集，增強效果不明顯；容易放大訓(xùn)練初期的錯誤，以導(dǎo)致精度退化。
　　 針對這些問題，本文在傳統(tǒng)的半監(jiān)督增強框架上進行了研究和拓展，提出了基于獨立置信度的半監(jiān)督增強框架（Semi-supervised Improvement Framework based on Exter

4、nal Confidence，SIFEC），該框架利用與已有分類器無關(guān)的置信度計算方法，客觀的評判出標記的正確性，從而有效地改善了傳統(tǒng)的置信度方法在迭代過程中更新信息少和強化早期錯誤的問題，同時打破了傳統(tǒng)框架中對于學(xué)習(xí)器種類的限制，能夠修正任意學(xué)習(xí)方法；還在傳統(tǒng)的增量式數(shù)據(jù)集更新方式的基礎(chǔ)上，提出了一種新的過濾式數(shù)據(jù)集更新方式，改善了貪婪式框架不能修正已有訓(xùn)練集中存在的錯誤的問題；最后進一步對傳統(tǒng)的半監(jiān)督增強框架進行了泛化，使其從針對特

5、定學(xué)習(xí)方法進行增強的框架，變成了針對未標記數(shù)據(jù)的某個預(yù)測結(jié)果進行增強的框架，允許框架根據(jù)特定數(shù)據(jù)集更換重訓(xùn)練方法，進一步提高了框架的增強效果。置信度計算方法是半監(jiān)督增強框架中的關(guān)鍵問題，本文借鑒基于圖的半監(jiān)督學(xué)習(xí)方法，提出了三種獨立的標記置信度計算方法：GSW方法、MSG方法、MACC方法，能夠有效的選出已有標記中置信度高的數(shù)據(jù)。
　　 跨膜蛋白質(zhì)數(shù)據(jù)集以及UCI基準數(shù)據(jù)集上的實驗結(jié)果表明，配合適當?shù)闹赜?xùn)練方法，本文提出的泛化的