眾包標(biāo)注的學(xué)習(xí)算法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，當(dāng)今社會(huì)進(jìn)入了大數(shù)據(jù)時(shí)代。為了提高機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)對(duì)數(shù)據(jù)的處理能力，需要快速對(duì)海量數(shù)據(jù)進(jìn)行高質(zhì)量的標(biāo)注，以實(shí)現(xiàn)對(duì)相關(guān)算法模型的訓(xùn)練和應(yīng)用。眾包標(biāo)注是利用眾包技術(shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注的方法，具有成本低，速度快的特點(diǎn)，因此得到了廣泛的關(guān)注和應(yīng)用。然而，由于參與眾包標(biāo)注的工作者數(shù)量很多，且其專(zhuān)業(yè)背景和工作能力參差不齊，導(dǎo)致收集到的標(biāo)注標(biāo)簽中存在噪聲甚至錯(cuò)誤，不能直接作為正確的標(biāo)簽使用。為了對(duì)眾包標(biāo)注收集

2、到的標(biāo)注標(biāo)簽進(jìn)行過(guò)濾和整合以得到正確的標(biāo)簽，需要研究眾包標(biāo)注的學(xué)習(xí)算法。
　　本文從工作者的標(biāo)注行為以及任務(wù)的特征出發(fā)，對(duì)眾包標(biāo)注的學(xué)習(xí)算法進(jìn)行研究，主要工作如下:
　　(1)提出基于眾包標(biāo)注標(biāo)簽平衡度的任務(wù)難度評(píng)估方法。通過(guò)對(duì)任務(wù)的眾包標(biāo)注產(chǎn)生的各類(lèi)標(biāo)簽的規(guī)模進(jìn)行統(tǒng)計(jì)分析，定義了該任務(wù)各類(lèi)標(biāo)簽之間的平衡度，并利用該平衡度，對(duì)該任務(wù)的難度進(jìn)行合理的評(píng)估。
　　(2)提出基于工作者能力和任務(wù)難度的眾包學(xué)習(xí)算法。針對(duì)眾包標(biāo)

3、注過(guò)程中收集到的標(biāo)簽，首先利用基于眾包標(biāo)注標(biāo)簽平衡度的任務(wù)難度評(píng)估方法得到任務(wù)的難度，再結(jié)合工作者的準(zhǔn)確度和一致度的衡量結(jié)果，對(duì)工作者的工作能力進(jìn)行評(píng)估，最終根據(jù)各工作者的能力整合出最終的標(biāo)簽，提升眾包標(biāo)注標(biāo)簽的質(zhì)量。
　　(3)提出基于任務(wù)特征的半監(jiān)督眾包學(xué)習(xí)算法。首先對(duì)參與眾包標(biāo)注的任務(wù)的特征進(jìn)行聚類(lèi)，然后在各個(gè)聚類(lèi)簇上，利用部分具有正確標(biāo)簽的任務(wù)，有監(jiān)督地學(xué)習(xí)出工作者在不同類(lèi)型的任務(wù)特征上的標(biāo)注能力，最后確定沒(méi)有正確標(biāo)簽的任