基于RGBD多模態(tài)特征的行為識(shí)別.pdf

1、智能家居、視頻監(jiān)控和人機(jī)交互一直是視覺(jué)領(lǐng)域研究的重點(diǎn)。行為識(shí)別作為智能家居和安防領(lǐng)域的重要任務(wù)，研究意義重大。目前，對(duì)于行為識(shí)別的研究主要集中在基于RGB視頻特征的行為識(shí)別和基于骨骼特征的行為識(shí)別上。隨著研究的不斷深入，RGB視頻特征和傳統(tǒng)骨骼特征的局限性逐漸顯露:RGB視頻難以排除復(fù)雜背景的干擾而目前主流的骨骼獲取設(shè)備笨重且昂貴。Kinect深度攝像是微軟推出的一款能同時(shí)采集RGB視頻、深度序列和骨骼數(shù)據(jù)的設(shè)備。該設(shè)備除了能獲得普通的

2、RGB數(shù)據(jù)，還能獲得人體深度數(shù)據(jù)和質(zhì)量可以接受的骨骼數(shù)據(jù)（得益于微軟強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)）。
　　本文就如何通過(guò)多特征融合的方法進(jìn)行人體行為識(shí)別展開(kāi)了研究。所謂的多特征融合，指的是同時(shí)使用RGB視頻輸入，深度序列輸入和骨骼輸入中的兩個(gè)或多個(gè)進(jìn)行人體行為識(shí)別。研究的重點(diǎn)在于深度特征提取、骨骼特征提取以及融合方法的創(chuàng)新?；赗GB視頻特征的行為識(shí)別研究已經(jīng)較為成熟，研究者們也在不斷的探索中獲得了很多特征提取技巧，這些都可以為我們深度特征