基于骨架節(jié)點(diǎn)的人體行為識(shí)別研究.pdf

1、人體行為識(shí)別是融合了計(jì)算機(jī)視覺、深度學(xué)習(xí)、模式識(shí)別等眾多學(xué)科的研究成果，并在基于內(nèi)容的視頻搜索，輔助醫(yī)療，娛樂游戲，視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。近年來，人體行為識(shí)別是計(jì)算機(jī)視覺中比較活躍的研究領(lǐng)域。人體可被視為一種關(guān)節(jié)系統(tǒng)，由關(guān)節(jié)點(diǎn)連接的剛性段（肢體）組成。人體行為由這些剛性段的運(yùn)動(dòng)組成，且由人體骨架節(jié)點(diǎn)在三維空間中的運(yùn)動(dòng)表示。隨著深度傳感器，如Kinect，以及骨架節(jié)點(diǎn)提取技術(shù)的發(fā)展，基于骨架節(jié)點(diǎn)的人體行為識(shí)別的研究逐漸興起。<

2、br>　　基于骨架節(jié)點(diǎn)的人體行為識(shí)別研究主要包括四個(gè)方面:三維骨架節(jié)點(diǎn)特征表示，動(dòng)態(tài)時(shí)序注冊(cè)，多源特征聯(lián)合學(xué)習(xí)，以及關(guān)鍵幀分析。現(xiàn)有關(guān)三維骨架節(jié)點(diǎn)特征表示方法在幀級(jí)特征提取過程中，往往忽略了骨架數(shù)據(jù)本身的噪聲和其從屬序列的類別及時(shí)序特性，使得提取的特征魯棒性不高，并很難反映動(dòng)作間細(xì)微且有意義的差異。而傳統(tǒng)的基于動(dòng)態(tài)時(shí)序規(guī)整的注冊(cè)方法在處理含有周期性片段的行為序列時(shí)存在嚴(yán)重誤配問題，并且忽略了類內(nèi)與類間序列的差異，使得生成的隱式模板的辨識(shí)

3、能力比較弱。另外，對(duì)于一些復(fù)雜或者極其相似的動(dòng)作，僅僅依靠骨架節(jié)點(diǎn)數(shù)據(jù)，難以準(zhǔn)確地識(shí)別人體行為。針對(duì)該問題，研究者提出了結(jié)合其他數(shù)據(jù)源，比如深度圖序列、彩色圖序列，提取多源特征進(jìn)行行為識(shí)別的研究以提高識(shí)別準(zhǔn)確率。而這些研究工作，往往是將多源特征線性組合，對(duì)最終的行為識(shí)別性能提升非常有限。對(duì)于視頻關(guān)鍵幀提取，大多數(shù)研究是基于一些預(yù)先設(shè)計(jì)弱語義特征的準(zhǔn)則，這使得它們難以適應(yīng)不同的場(chǎng)景或任務(wù)。
　　基于上述背景，本文首先簡(jiǎn)要介紹了人體行

4、為識(shí)別算法的研究背景，意義和國(guó)內(nèi)外相關(guān)研究現(xiàn)狀，然后著重于基于骨架節(jié)點(diǎn)的人為行為識(shí)別研究，闡述了本文的基本思想和研究思路，深入研究三維骨架特征表示、動(dòng)態(tài)時(shí)序注冊(cè)、多源特征聯(lián)合學(xué)習(xí)以及時(shí)序視覺注意選擇四個(gè)方面的問題。
　　本論文的主要貢獻(xiàn)可歸納以下幾個(gè)方面:
　　(1)針對(duì)現(xiàn)有的方法在提取單幀特征時(shí)很少考慮其從屬序列的類別與時(shí)序特性，骨架節(jié)點(diǎn)數(shù)據(jù)存在噪聲等問題，提出一種類別與時(shí)序約束的自編碼神經(jīng)網(wǎng)絡(luò)(DAE-CTC)。DAE-

5、CTC在非監(jiān)督學(xué)習(xí)過程中，引入類別約束項(xiàng)與時(shí)序約束項(xiàng)，并在解碼中重建，獲得更好魯棒性的骨架特征。相較于其他方法，DAE-CTC在人體行為動(dòng)作識(shí)別中獲得了較高的準(zhǔn)確率。
　　(2)針對(duì)傳統(tǒng)的時(shí)序注冊(cè)算法存在嚴(yán)格的時(shí)序前傳限制，并在處理周期性動(dòng)作時(shí)可能完全失效的問題，提出一種基于局部時(shí)序約束的序列注冊(cè)方法(LRWS)。計(jì)算動(dòng)作隱式模板時(shí)，LRWS不僅考慮模板與類內(nèi)的各行為類別序列間的相似性，同時(shí)強(qiáng)化其與類間序列間的差異。相對(duì)于主流的時(shí)

6、序注冊(cè)方法，本文提出的LRWS方法更加有利于人體行為識(shí)別問題。
　　(3)針對(duì)現(xiàn)有算法辨識(shí)極其相似或存在重疊的動(dòng)作不準(zhǔn)確問題，提出了結(jié)合深度圖的多源特征聯(lián)合學(xué)習(xí)算法(DMAE)。DMAE采用DAE-CTC與卷積自編碼分別提取骨架節(jié)點(diǎn)圖與深度圖的隱層特征，并通過一個(gè)兩層神經(jīng)網(wǎng)絡(luò)對(duì)二者特征進(jìn)行非線性建模，最后采用BP-NN聯(lián)合優(yōu)化整個(gè)網(wǎng)絡(luò)。最終提取的骨架節(jié)點(diǎn)特征與深度圖特征可以有效提升對(duì)于復(fù)雜和非常相似動(dòng)作的辨識(shí)能力。另外，DMAE具

7、有很強(qiáng)的重建能力，可以修復(fù)存在干擾噪聲的三維骨架節(jié)點(diǎn)數(shù)據(jù)。
　　(4)針對(duì)人體行為識(shí)別中存在時(shí)序干擾與計(jì)算冗余的問題，提出了一種基于遞歸自編碼的時(shí)序視覺注意選擇機(jī)制(TSAE)。利用遞歸神經(jīng)網(wǎng)絡(luò)LSTM(Long Short Term Memory)輸出門閥的特性，通過添加低秩與稀疏約束，TSAE可以從動(dòng)作序列中提取重要且稀疏的時(shí)序視覺注意點(diǎn)用于行為識(shí)別，自適應(yīng)地減少運(yùn)算量，并提高動(dòng)作識(shí)別任務(wù)的準(zhǔn)確性。同時(shí)在時(shí)間性能上，TSAE較