基于視頻與文本信息的說(shuō)話者人臉標(biāo)注.pdf

1、基于視頻信息的說(shuō)話者檢測(cè)，就是不借助音頻信息，單從說(shuō)話者的嘴唇動(dòng)作來(lái)判定誰(shuí)在說(shuō)話的檢測(cè)方法。涉及到的相關(guān)技術(shù)有視頻鏡頭分割、人臉檢測(cè)與跟蹤、嘴唇區(qū)域定位以及唇動(dòng)判斷。對(duì)于人名的標(biāo)注，同時(shí)需要文本信息的輔助，考慮到字幕和劇本各自的特點(diǎn)，需要進(jìn)行二者的融合。
　　在字幕和劇本的融合中，本文引入了動(dòng)態(tài)時(shí)間規(guī)整算法，采用這種算法的思想，以單詞為特征進(jìn)行融合，取得了不錯(cuò)的效果。對(duì)于人臉的監(jiān)測(cè)與跟蹤，考慮到檢測(cè)的準(zhǔn)確率、效率以及代碼復(fù)用，本文

2、采用OpenCV視覺(jué)庫(kù)中的AdaBoost算法和MeanShift算法，這種組合方法經(jīng)過(guò)相關(guān)研究的實(shí)驗(yàn)驗(yàn)證，取得了比較好的檢測(cè)和跟蹤效果，故而本文用這種方法進(jìn)行人臉序列的提取。
　　嘴部檢測(cè)一直是唇讀領(lǐng)域研究的內(nèi)容，本文將其引入到說(shuō)話者檢測(cè)中的嘴唇區(qū)域定位過(guò)程中。考慮了相關(guān)文獻(xiàn)中提出的方法，利用唇色這一天然特征來(lái)提取唇色相近區(qū)域，并在此基礎(chǔ)上加以改進(jìn)，進(jìn)一步的確定嘴唇區(qū)域。經(jīng)測(cè)試觀察取得了良好的效果。
　　之前的研究中，在說(shuō)

3、話者檢測(cè)中采用的唇動(dòng)判斷方法，不像唇讀中所使用的方法那么復(fù)雜，大都是對(duì)相鄰幀的嘴部區(qū)域做幀間差，并設(shè)定閾值，以此來(lái)判斷相鄰幀之間是否有嘴唇的變化，判斷為唇動(dòng)。本文引入了機(jī)器學(xué)習(xí)的方法，通過(guò)提取嘴唇區(qū)域的多種特征，利用訓(xùn)練的分類器來(lái)進(jìn)行唇動(dòng)的判斷。經(jīng)實(shí)驗(yàn)驗(yàn)證，正確率及魯棒性都有了很大提高。
　　相關(guān)文獻(xiàn)中采用的檢測(cè)說(shuō)話者的方法，是基于單幀圖像來(lái)進(jìn)行判斷，即判斷某一幀圖像中人物是否在說(shuō)話。對(duì)于在一個(gè)圖像序列中，某個(gè)人臉序列只是唇動(dòng)但沒(méi)