視頻關(guān)鍵幀提取及人臉表情識(shí)別.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和機(jī)頂盒、網(wǎng)絡(luò)播放機(jī)等嵌入式設(shè)備的迅猛發(fā)展，各種文本信息和流媒體每天都在成倍的增長?；ヂ?lián)網(wǎng)上的各種色情小說、圖像、視頻等有害青少年身心健康的信息，可能使他們形成錯(cuò)誤的人生觀世界觀價(jià)值觀，給社會(huì)的精神文明建設(shè)造成一定的不良影響。為了減少不良視頻對(duì)青少年健康成長的影響，我們有必要研究不良視頻的特點(diǎn)并且對(duì)其進(jìn)行檢測(cè)。而研究不良視頻特點(diǎn)和檢測(cè)時(shí)，首先要進(jìn)行場(chǎng)景分割、鏡頭分割和提取關(guān)鍵幀，我們利用關(guān)鍵幀序列代表視頻的主要內(nèi)容，進(jìn)而把

2、研究不良視頻特點(diǎn)問題轉(zhuǎn)換為研究關(guān)鍵幀中的內(nèi)容，這樣大大減少了處理的數(shù)據(jù)量。然后對(duì)關(guān)鍵幀序列可以從表情，動(dòng)作等各方面開展，本文主要從表情方面進(jìn)行研究，以輔助不良視頻的檢測(cè)。
　　本課題組研究不良視頻識(shí)別，已經(jīng)完成的工作有場(chǎng)景分類，鏡頭分割，人臉檢測(cè)和不良視頻的初步檢測(cè)。不良視頻的初步檢測(cè)，通過特定視頻的能量曲線建立特征庫，將待測(cè)視頻的能量曲線與已經(jīng)建立特征庫中的曲線進(jìn)行匹配，進(jìn)而完成特定視頻的檢測(cè)。另外，特定視頻的檢測(cè)還可以輔助觀眾

3、的表情實(shí)現(xiàn)不良視頻的檢測(cè)，首先通過錄制觀眾的相關(guān)視頻進(jìn)行表情識(shí)別并綜合不良視頻的初步檢測(cè)，然后判斷是否為不良視頻。我們還可以根據(jù)觀眾的年齡，對(duì)不適宜的視頻提出警告。本文在上述工作的基礎(chǔ)上，開展下面兩個(gè)方面的研究:視頻的關(guān)鍵幀提取，關(guān)鍵幀中表情的識(shí)別。
　　在視頻關(guān)鍵幀提取中，提出了基于視覺顯著度和互補(bǔ)性相融合的關(guān)鍵幀提取方法。首先，由于單個(gè)特征具有不全面的特性，不同特征之間具有良好的互補(bǔ)性，顯著度能表達(dá)一定的語義信息，所以我們利用

4、亮度空間顯著度、局部二值模式(Local BinaryPatterns，LBP)空間顯著度和運(yùn)動(dòng)顯著度分別進(jìn)行關(guān)鍵幀的提取。其次上步獲得的關(guān)鍵幀可能存在冗余，而冗余關(guān)鍵幀不但不能提供有效的信息而且會(huì)造成存儲(chǔ)空間和瀏覽時(shí)間的浪費(fèi)，可以通過比較已獲得關(guān)鍵幀之間的相關(guān)系數(shù)，去除相關(guān)系數(shù)較大的關(guān)鍵幀，這樣冗余關(guān)鍵幀的問題可得到一定程度的解決。實(shí)驗(yàn)表明，該方法提取的關(guān)鍵幀符合人類觀察事物的視覺特性并且能比較全面的表達(dá)視頻內(nèi)容。
　　在表情識(shí)

5、別中，提出了基于改進(jìn)LDP的表情識(shí)別方法。首先，對(duì)已經(jīng)獲得的關(guān)鍵幀進(jìn)行基于AdaBoost算法的人臉檢測(cè)，對(duì)于存在人臉的關(guān)鍵幀進(jìn)行后續(xù)處理，然后由于LBP從概念上可以認(rèn)為是沒有方向性的一階局部模式操作算子，然而LDP能夠描述一定的方向信息，但不能區(qū)別方向變化的不同，所以我們提出了利用改進(jìn)LDP提取表情的特征，改進(jìn)的LDP對(duì)方向變化情況不同也能夠編碼。最后由于K近鄰算法對(duì)于未知和非正態(tài)分布的數(shù)據(jù)可以取得較好的分類效果，容易實(shí)現(xiàn)，所以我們利