偏標(biāo)記損失函數(shù)研究.pdf

1、偏標(biāo)記學(xué)習(xí)是一類重要的弱監(jiān)督學(xué)習(xí)框架，在該框架下標(biāo)記信息不再具有單一性和明確性:一個(gè)示例對(duì)應(yīng)于一個(gè)候選標(biāo)記集合，而候選標(biāo)記集合中僅有一個(gè)標(biāo)記為其真實(shí)標(biāo)記。由于訓(xùn)練數(shù)據(jù)的真實(shí)標(biāo)記不可直接獲取，常見的一些監(jiān)督學(xué)習(xí)技術(shù)無法直接用于求解偏標(biāo)記學(xué)習(xí)問題。
　　一般而言，損失函數(shù)設(shè)計(jì)體現(xiàn)了算法對(duì)學(xué)習(xí)問題性質(zhì)的描述。現(xiàn)有偏標(biāo)記學(xué)習(xí)算法采用的損失主要存在兩個(gè)方面的問題。一方面，現(xiàn)有偏標(biāo)記損失函數(shù)設(shè)計(jì)僅僅關(guān)注示例與標(biāo)記之間的映射關(guān)系，從而忽略了輸入

2、空間中示例之間的相關(guān)性。另一方面，現(xiàn)有偏標(biāo)記損失函數(shù)設(shè)計(jì)賦予各候選標(biāo)記相同的置信度，從而忽略了真實(shí)標(biāo)記與偽標(biāo)記模型輸出重要性不同的性質(zhì)。針對(duì)以上兩方面問題，本文對(duì)偏標(biāo)記損失函數(shù)設(shè)計(jì)進(jìn)行了研究，主要圍繞如下兩個(gè)方面展開:
　　機(jī)器學(xué)習(xí)算法通常假設(shè)樣本之間滿足一致性性質(zhì)，即在特征空間中相似的示例在標(biāo)記空間上也具有一定的相似性?；诖耍岢龌谝恢滦约僭O(shè)的偏標(biāo)記學(xué)習(xí)算法COPAL。該算法在對(duì)候選標(biāo)記集合進(jìn)行消歧的過程中，其損失函數(shù)不僅考

3、慮了在候選標(biāo)記集合上的輸出，同時(shí)考察了近鄰示例輸出的相似度。實(shí)驗(yàn)結(jié)果表明，在偏標(biāo)記損失函數(shù)中引入一致性假設(shè)考察示例相似度，可以更好地實(shí)現(xiàn)訓(xùn)練樣本的候選標(biāo)記消歧。
　　在偏標(biāo)記學(xué)習(xí)中，真實(shí)標(biāo)記上的模型輸出往往被偽標(biāo)記上的模型輸出所湮沒。因此，需要在損失函數(shù)設(shè)計(jì)過程中考慮不同標(biāo)記上模型輸出的置信度?；诖?，提出基于標(biāo)記置信度的偏標(biāo)記學(xué)習(xí)算法CORD。該算法在對(duì)候選標(biāo)記集合的消歧過程中，其損失函數(shù)綜合了候選標(biāo)記的模型輸出及其置信度，通過