基于特征表達(dá)和屬性挖掘的人體動(dòng)作識(shí)別研究.pdf

1、作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)基礎(chǔ)問題，人體動(dòng)作識(shí)別旨在通過算法讓機(jī)器對(duì)人體動(dòng)作視頻實(shí)現(xiàn)語義上的理解和分析。基于人體動(dòng)作識(shí)別的潛在應(yīng)用包括了智能監(jiān)控、視頻內(nèi)容分析以及人機(jī)交互、智能家居等多個(gè)領(lǐng)域。正是這樣廣泛的應(yīng)用場(chǎng)景和潛在的應(yīng)用價(jià)值，在計(jì)算機(jī)視覺領(lǐng)域，大量的科研工作和研究課題圍繞人體動(dòng)作識(shí)別展開。然而，人體動(dòng)作識(shí)別又是一個(gè)非常有挑戰(zhàn)性的研究課題，存在諸多難點(diǎn)。在動(dòng)作視頻中，往往存在著背景復(fù)雜、人體遮擋、攝像頭移動(dòng)與縮放等問題。即使在帶有深度

2、信息的動(dòng)作視頻中，背景噪聲、人體骨架檢測(cè)的漂移，以及同一動(dòng)作類別下由于動(dòng)作類別的語義范圍大而造成的類內(nèi)差異較高的問題仍然存在。針對(duì)這些問題，本文從人體動(dòng)作視頻的表達(dá)出發(fā)，通過對(duì)人體動(dòng)作視頻數(shù)據(jù)的底層特征提取、中層屬性挖掘以及利用深度學(xué)習(xí)模型進(jìn)行特征學(xué)習(xí)的研究，探究視頻中人體動(dòng)作的合理有效的表達(dá)，并最終利用機(jī)器學(xué)習(xí)模型進(jìn)行人體動(dòng)作分類識(shí)別。
　　本文的研究?jī)?nèi)容主要集中在對(duì)動(dòng)作視頻的特征表達(dá)和屬性挖掘上，分別從底層特征表達(dá)、動(dòng)作屬性挖

3、掘以及多特征融合的三個(gè)角度來探究人體動(dòng)作視頻的有效表達(dá)在視頻動(dòng)作分類上的作用。主要內(nèi)容包括：⑴針對(duì)帶有深度信息的人體骨架數(shù)據(jù)，設(shè)計(jì)了合理的底層特征表達(dá)方式，并采用了馬爾可夫隨機(jī)場(chǎng)模型結(jié)合骨架序列本身的空間約束性和時(shí)間一致性，對(duì)特征空間進(jìn)行編碼，抑制了特征空間因?yàn)樵肼晹?shù)據(jù)存在的類內(nèi)差異過大和類間區(qū)分性不夠的問題。同時(shí)針對(duì)應(yīng)用場(chǎng)景的特性，改進(jìn)了多示例學(xué)習(xí)模型，提出了基于模式的多示例學(xué)習(xí)模型，學(xué)習(xí)各動(dòng)作類別中具有區(qū)分性的骨架運(yùn)動(dòng)，用于低延時(shí)識(shí)

4、別系統(tǒng)中每幀骨架與各動(dòng)作類別相關(guān)程度的衡量。⑵針對(duì)帶有深度信息的人體骨架的數(shù)據(jù)，改進(jìn)并完備了底層人體骨架特征，并設(shè)計(jì)出有效地屬性挖掘方法，盡可能減少底層特征到高層語義之間的鴻溝。同時(shí)完全采用數(shù)據(jù)驅(qū)動(dòng)的方式挖掘?qū)傩蕴卣鳎趯?shí)現(xiàn)有效可靠的人體骨架動(dòng)作識(shí)別系統(tǒng)的同時(shí)，提出自動(dòng)生長(zhǎng)的屬性空間模型，能夠在識(shí)別過程中，實(shí)現(xiàn)屬性空間的擴(kuò)展，探究可擴(kuò)展的人體動(dòng)作識(shí)別系統(tǒng)的可能性。⑶針對(duì)傳統(tǒng)的RGB視頻數(shù)據(jù)，在應(yīng)用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過稠

5、密軌跡對(duì)視頻中具有運(yùn)動(dòng)主體區(qū)域檢測(cè)并進(jìn)行跟蹤，并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)提取運(yùn)動(dòng)主體的外觀特征，同時(shí)沿著稠密軌跡的鄰域，提取相應(yīng)的局部運(yùn)動(dòng)特征。采用了AdaBoost算法，實(shí)現(xiàn)多特征融合有效地表達(dá)動(dòng)作視頻，討論其在動(dòng)作視頻分類上的性能。
　　本文針對(duì)基于視頻的人體動(dòng)作識(shí)別問題，從視頻的特征設(shè)計(jì)和提取以及動(dòng)作屬性的挖掘等多個(gè)角度來對(duì)視頻數(shù)據(jù)進(jìn)行表達(dá)，同時(shí)涉及到帶有深度信息的人體骨架序列的動(dòng)作分類和不帶有深度信息的傳統(tǒng)RGB空間下的視頻數(shù)據(jù)