眾包質(zhì)量控制算法及評(píng)價(jià)框架研究.pdf

1、眾包技術(shù)通過招募未知工作者群體，利用群體的智慧來解決機(jī)器難以解決的問題。雖然眾包近年來已經(jīng)得到了廣泛應(yīng)用，但是眾包解決問題時(shí)需要從未知工作者收集答案，使得質(zhì)量控制問題成為在線眾包平臺(tái)面臨的最大挑戰(zhàn)。平臺(tái)的工作者們可能缺乏必要的專業(yè)知識(shí)、存在偏見或者被惡意因素所驅(qū)使，因而會(huì)造成低質(zhì)量甚至完全錯(cuò)誤的眾包結(jié)果。
　　為了解決這個(gè)問題，本文提出了一種兩階段基于工作者過濾和期望最大化的質(zhì)量控制算法。在第一階段，算法利用工作者應(yīng)答時(shí)間和答案沖

2、突作為反饋，對(duì)工作者進(jìn)行評(píng)價(jià)并過濾惡意工作者。在第二階段，算法通過采樣算法設(shè)定初始值，并通過期望最大化算法，估計(jì)用戶質(zhì)量和任務(wù)的答案，得到高質(zhì)量的聚合答案。該算法解決了傳統(tǒng)算法中隱式反饋未得到有效利用、惡意工作者影響答案質(zhì)量以及期望最大化算法初始值設(shè)定等問題。
　　盡管相關(guān)研究已經(jīng)提出多種質(zhì)量控制算法，但研究中缺乏統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)指標(biāo)。本文針對(duì)這個(gè)問題，提出了眾包質(zhì)量控制算法的通用評(píng)價(jià)框架，并提出了任務(wù)分配、惡意工作者比例、答