視頻中人體動(dòng)作識(shí)別關(guān)鍵技術(shù)研究.pdf

1、視頻中人體動(dòng)作識(shí)別作為計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域中的一個(gè)重要分支，在智能視頻監(jiān)控、人機(jī)交互、運(yùn)動(dòng)分析、視頻檢索等諸多領(lǐng)域，具有廣闊的應(yīng)用前景，受到了國(guó)內(nèi)外學(xué)者廣泛關(guān)注。然而，視頻中人體動(dòng)作的復(fù)雜性和多樣性，使其成為一項(xiàng)深具挑戰(zhàn)的研究課題。
　　本文根據(jù)人體動(dòng)作視頻拍攝時(shí)是否發(fā)生攝像機(jī)運(yùn)動(dòng)，將人體動(dòng)作識(shí)別劃分為固定攝像機(jī)拍攝視頻（簡(jiǎn)稱為靜止視頻）、運(yùn)動(dòng)攝像機(jī)拍攝視頻（簡(jiǎn)稱為運(yùn)動(dòng)視頻）中人體動(dòng)作識(shí)別兩類。分別采用基于人體前景的全局表示、

2、基于視頻局部特征的局部表示方法用于靜止、運(yùn)動(dòng)視頻中人體動(dòng)作識(shí)別。具體研究?jī)?nèi)容如下：
　　1）基于時(shí)空條件信息的靜止視頻運(yùn)動(dòng)前景檢測(cè)
　　針對(duì)視頻監(jiān)控應(yīng)用中，常發(fā)生的動(dòng)態(tài)背景干擾問(wèn)題，提出了基于時(shí)空條件信息的靜止視頻中前景檢測(cè)方法。采用圖像像素在時(shí)空域內(nèi)的時(shí)空條件信息代替像素亮度進(jìn)行運(yùn)動(dòng)前景、背景分類，并將視覺(jué)顯著性原理引入時(shí)空域構(gòu)建過(guò)程中，通過(guò)加權(quán)鄰域內(nèi)像素時(shí)空條件信息進(jìn)一步抑制噪聲，最后采用圖像分塊加速策略，實(shí)現(xiàn)了動(dòng)態(tài)場(chǎng)景

3、運(yùn)動(dòng)目標(biāo)實(shí)時(shí)、高精度檢測(cè)。
　　2）基于黎曼流形的靜止視頻人體動(dòng)作全局表示
　　采用人體前景時(shí)空形狀（Space Time Shapes, STS）進(jìn)行人體動(dòng)作全局表示，并針對(duì)STS匹配存在的高維問(wèn)題，提出基于體內(nèi)點(diǎn)輻射距離的STS三維形狀局部采樣（Local sample of Space Time Shapes, LsSTS）特征，統(tǒng)計(jì)LsSTS的協(xié)方差矩陣作為 STS的特征描述對(duì)其降維。在黎曼流形框架下，以較低的計(jì)算復(fù)

4、雜度，實(shí)現(xiàn)了較高的人體動(dòng)作識(shí)別精度。
　　3）攝像機(jī)運(yùn)動(dòng)不變視頻局部特征提取及表示
　　針對(duì)現(xiàn)有視頻局部特征提取方法容易受到攝像機(jī)運(yùn)動(dòng)干擾的問(wèn)題，提出了攝像機(jī)運(yùn)動(dòng)不變視頻局部特征提取及表示方法。先在圖像空域檢測(cè)圖像局部特征、并跟蹤得到局部特征運(yùn)動(dòng)軌跡；再采用RANSAC(RANdom SAmple Consensus)算法檢測(cè)前景運(yùn)動(dòng)軌跡，用于與人體動(dòng)作相關(guān)的視頻局部特征定位；最后利用背景運(yùn)動(dòng)軌跡進(jìn)行攝像機(jī)運(yùn)動(dòng)補(bǔ)償，提取攝像

5、機(jī)運(yùn)動(dòng)不變視頻局部特征描述子。該方法有效降低了運(yùn)動(dòng)視頻中局部特征誤檢測(cè)率，提高了BoF(Bag of Feature)模型進(jìn)行運(yùn)動(dòng)視頻人體動(dòng)作識(shí)別的精度。
　　4）視頻局部特征時(shí)空編碼算法
　　針對(duì) BoF模型在進(jìn)行人體動(dòng)作建模時(shí)忽視人體區(qū)域中視頻局部特征時(shí)空位置關(guān)系的問(wèn)題，將局部特征時(shí)空位置坐標(biāo)引入局部特征編碼中，直接對(duì)局部特征時(shí)空位置關(guān)系建模。實(shí)驗(yàn)結(jié)果表明，該算法優(yōu)于向量量化、稀疏編碼、局部約束線性編碼等局部編碼算法，可

6、有效提高人體動(dòng)作識(shí)別精度。
　　5）基于視頻分割序列集的人體動(dòng)作分類
　　為提高整段視頻人體動(dòng)作分類精度，提出了基于視頻分割序列集的人體動(dòng)作分類框架。通過(guò)將待分類人體動(dòng)作視頻劃分為若干個(gè)部分重疊的視頻分割序列，以視頻分割序列集進(jìn)行人體動(dòng)作視頻分類?？稍黾臃诸悩颖据斎?、保留更多人體動(dòng)作信息，提高整段視頻的識(shí)別率。在該分類框架下，分別采用了KNN投票分類、局部約束組稀疏表示分類(Locality constrained grou