主動(dòng)學(xué)習(xí)停止準(zhǔn)則與評(píng)價(jià)測(cè)度研究.pdf

1、主動(dòng)學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中最為活躍的研究方向之一，其旨在花費(fèi)盡可能少的人類標(biāo)注代價(jià)獲得性能較高的分類模型。因此，在主動(dòng)學(xué)習(xí)過程中，能否定義一個(gè)合適的停止準(zhǔn)則對(duì)主動(dòng)學(xué)習(xí)是否能發(fā)揮出最大效應(yīng)具有重大意義。此外，在對(duì)一種主動(dòng)學(xué)習(xí)算法的性能進(jìn)行評(píng)估時(shí)，往往需要定義一些定量的評(píng)價(jià)測(cè)度，而這正是前人工作所忽略的問題。故本文主要針對(duì)上述兩類問題展開研究。
　　本文首先介紹了幾種常用的主動(dòng)學(xué)習(xí)停止準(zhǔn)則，進(jìn)而針對(duì)現(xiàn)有的選擇精度主動(dòng)學(xué)習(xí)停止準(zhǔn)則僅適用于

2、批量樣例標(biāo)注場景這一缺點(diǎn)，提出了一種改進(jìn)的適用于單輪單樣例標(biāo)注場景的選擇精度停止準(zhǔn)則。該準(zhǔn)則通過監(jiān)督自本輪起前溯的固定學(xué)習(xí)輪次內(nèi)的預(yù)測(cè)標(biāo)記與真實(shí)標(biāo)記間的匹配關(guān)系，對(duì)選擇精度進(jìn)行近似的評(píng)估計(jì)算，匹配度越高則選擇精度越高。繼而利用滑動(dòng)時(shí)間窗實(shí)時(shí)監(jiān)測(cè)該選擇精度的變化，若當(dāng)其高于事先設(shè)定的閾值時(shí)，則停止主動(dòng)學(xué)習(xí)算法的運(yùn)行。以基于支持向量機(jī)的主動(dòng)學(xué)習(xí)方法為例，通過6個(gè)基準(zhǔn)數(shù)據(jù)集對(duì)該準(zhǔn)則的有效性與可行性進(jìn)行了驗(yàn)證，結(jié)果表明當(dāng)選取合適的閾值時(shí)，該準(zhǔn)則

3、能找到主動(dòng)學(xué)習(xí)停止的合理時(shí)機(jī)。該方法擴(kuò)大了選擇精度停止準(zhǔn)則的適用范圍，提升了其實(shí)用性。
　　目前，適用于主動(dòng)學(xué)習(xí)的算法多種多樣，但這些主動(dòng)學(xué)習(xí)算法都共用一個(gè)統(tǒng)一的性能評(píng)估測(cè)度，即學(xué)習(xí)曲線。學(xué)習(xí)曲線在整個(gè)主動(dòng)學(xué)習(xí)迭代過程中能夠很好的區(qū)分分類模型間的性能差異，因此大多數(shù)文章都使用學(xué)習(xí)曲線作為比較不同分類算法性能的標(biāo)準(zhǔn)。但是對(duì)于兩個(gè)分類性能相近的主動(dòng)學(xué)習(xí)算法，很難從學(xué)習(xí)曲線的分布上觀察到性能變化的細(xì)微差異。針對(duì)這一問題，通過深入挖掘?qū)W習(xí)

4、曲線中所隱藏的信息，提出了四種定量的主動(dòng)學(xué)習(xí)性能評(píng)估測(cè)度，分別為學(xué)習(xí)曲線下的面積、對(duì)數(shù)化的學(xué)習(xí)曲線下的面積、平均梯度角以及對(duì)數(shù)化的平均梯度角。在比較基于同質(zhì)分類器的主動(dòng)學(xué)習(xí)算法時(shí)，這四種度量測(cè)度均能夠保證評(píng)估結(jié)果的公正性；而對(duì)于異質(zhì)的分類器，在比較不同的主動(dòng)學(xué)習(xí)算法性能時(shí)，平均梯度角以及對(duì)數(shù)化的平均梯度角比另外兩種評(píng)估測(cè)度可能更加適用。此外，對(duì)數(shù)化的學(xué)習(xí)曲線下的面積與對(duì)數(shù)化的平均梯度角則更關(guān)注于主動(dòng)學(xué)習(xí)初始學(xué)習(xí)階段的性能提升速率。通過在