基于空時特征的視頻內(nèi)容人行為檢測方法研究.pdf

1、在日漸自動化與信息化的今天,多媒體已經(jīng)成為我們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠?在教育,醫(yī)療,衛(wèi)生,生產(chǎn),交通等等各方面都離不開多媒體的參與。視頻作為多媒體的一種形式越來越普遍,為了能夠節(jié)省視頻內(nèi)容檢索識別的時間,提高視頻處理效率,很多研究人員致力于視頻內(nèi)容的研究,包括基于內(nèi)容的視頻分類,基于內(nèi)容的視頻摘要等。視頻序列中的人體運動識別是一個很吸引人的并且很有挑戰(zhàn)性的研究課題在計算機領(lǐng)域中,有著很廣泛的應(yīng)用,包括動作獲取,人機融合,環(huán)境控制,視

2、頻摘要,安全監(jiān)控以及運動和環(huán)境分析等。
　　本文主要研究視頻中的人行為識別,在視頻特征提取,視頻表達(dá)以及視頻人行為識別模型方面均做出創(chuàng)新性貢獻(xiàn)。首先在特征提取方面,本文提出一種空時輪廓滑動塊梯度直方圖特征描述子。這種新的特征描述子將視頻看作一個三維立體塊,其中人體邊緣滑動過的區(qū)域看作一個空時輪廓面,每類動作所形成的三維輪廓類似,而不同動作形成的三維輪廓之間存在很大差異,通過檢測三維輪廓的形狀來預(yù)測動作類別。通過建立一系列密集重疊的

3、滑動塊形成三維輪廓滑動塊梯度直方圖來檢測視頻中人行為的三維輪廓,進(jìn)而預(yù)測人行為類別。其次,在視頻表達(dá)方面,本文將稀疏編碼引入到視頻人行為識別領(lǐng)域,采用稀疏編碼后的向量作為新的特征描述子,并采用最大池方法構(gòu)建視頻描述子,該方法使得表征視頻的特征向量具有很大程度的稀疏性,大大提高了算法效率。最后在視頻人行為識別模型方面,本文提出了一套基于空時特征的視頻內(nèi)容能夠人行為檢測模型,該模型采用本文新提出的基于空時輪廓滑動塊梯度直方圖特征,并將稀疏編

4、碼和隨機森林結(jié)合在一起,利用典型的BOVW模型來進(jìn)行人行為識別。
　　本文選擇KTH(Kungliga Tekniska h(o)gskolan瑞典皇家理工學(xué)院)人行為數(shù)據(jù)庫,Weizmann數(shù)據(jù)集,以及UCF體育動作數(shù)據(jù)集對提出的算法進(jìn)行測試,實驗結(jié)果顯示采用三維空時輪廓面能夠有效區(qū)分視頻類別,本文提出的采用密集重疊的三維滑動塊檢測輪廓面方法準(zhǔn)確有效,得到的特征描述子既包含了人體形狀信息,又包含了人體部位的運動方向信息,從而準(zhǔn)確