基于時(shí)空特征和詞袋模型的多模態(tài)視頻內(nèi)容識(shí)別算法研究.pdf

1、視頻內(nèi)容的識(shí)別與檢測(cè)是近十年來計(jì)算機(jī)視覺領(lǐng)域中一個(gè)十分熱門的話題。隨著視頻監(jiān)控應(yīng)用的需求的大量上升，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和成熟，越來越多的應(yīng)用場(chǎng)景涉及到了視頻內(nèi)容的自動(dòng)識(shí)別檢測(cè)。利用視頻內(nèi)容檢測(cè)技術(shù)，可以自動(dòng)地分析視頻中諸如人體等對(duì)象的運(yùn)動(dòng)模式，可以自動(dòng)的檢測(cè)視頻中是否含有不健康或者需要屏蔽的信息，也可以在人機(jī)交互、視頻檢索等方面發(fā)揮重要的作用。
　　本文主要著眼于視頻中人行為的識(shí)別以及不健康視頻的檢測(cè)，根據(jù)這兩方面不同的側(cè)重

2、點(diǎn)，使用不同的技術(shù)，包括時(shí)空特征的提取分析、大量雙模態(tài)特征的融合、視覺/音頻詞袋模型向量生成、包含二次預(yù)測(cè)的SVM分類框架以及識(shí)別不健康信息的分層檢測(cè)架構(gòu)。
　　在人行為識(shí)別方面，本文提出了一種空-時(shí) SURF（快速魯棒特征）特征描述子，并且結(jié)合視頻詞匯概念，應(yīng)用于人行為識(shí)別。這種新的描述子在行為識(shí)別應(yīng)用中能很好的體現(xiàn)視頻的時(shí)空本質(zhì)，該描述子通過詞袋（Bag of Words）模型來表征視頻，在表征過程使用了soft-weight

3、ing（非硬性權(quán)重）。實(shí)驗(yàn)以瑞典皇家理工學(xué)院的行為識(shí)別數(shù)據(jù)集作為測(cè)試對(duì)象，實(shí)驗(yàn)即使用了相關(guān)領(lǐng)域傳統(tǒng)的分類策略，同時(shí)引入了包含二次判斷的投票系統(tǒng)，實(shí)驗(yàn)證明了結(jié)合這種特征描述子和視頻詞匯的行為識(shí)別框架在速度和準(zhǔn)確率上都要優(yōu)于現(xiàn)有的一些方法，同時(shí)新的分類策略在某些行為類型上要超過傳統(tǒng)的分類方法，能有效地應(yīng)用于行為識(shí)別領(lǐng)域。
　　在不健康內(nèi)容檢測(cè)方面，本文根據(jù)暴力和色情這兩類典型的不健康視頻的固有特征，設(shè)計(jì)兩套有所針對(duì)性的檢測(cè)流程。使用改