基于RGB-D的多線性異構(gòu)信息的動(dòng)作識(shí)別研究.pdf

1、深度傳感器不僅能獲得RGB視頻數(shù)據(jù)還能獲得3D深度數(shù)據(jù)，因而基于RGB-D相機(jī)的動(dòng)作識(shí)別的研究越來(lái)越多。3D結(jié)構(gòu)信息簡(jiǎn)化了動(dòng)作識(shí)別的運(yùn)動(dòng)內(nèi)部變化，并且去除了雜亂的背景噪聲，因此3D結(jié)構(gòu)信息能夠有效地用于識(shí)別任務(wù)。雖然3D結(jié)構(gòu)信息很有效，但是有關(guān)3D結(jié)構(gòu)信息的方法僅適用于深度數(shù)據(jù)。由于深度數(shù)據(jù)是不連續(xù)的，會(huì)產(chǎn)生噪聲，而RGB數(shù)據(jù)是連續(xù)的，剛好可以彌補(bǔ)深度數(shù)據(jù)的缺點(diǎn)。而人體部位的動(dòng)作是高度相關(guān)的，因而采用深度序列。但是深度序列是串聯(lián)的高維向

2、量增加了參數(shù)數(shù)目和計(jì)算時(shí)間，而用矩陣形式表示就可以克服這個(gè)問(wèn)題。為了解決上述問(wèn)題，本文進(jìn)行了以下研究工作：
　?。?）針對(duì) RGB數(shù)據(jù)和深度數(shù)據(jù)以及骨骼數(shù)據(jù)優(yōu)缺點(diǎn)之間的互補(bǔ)關(guān)系，提出了基于RGB-D的雙線性異構(gòu)信息的動(dòng)作識(shí)別研究。該方法有效地利用兩種數(shù)據(jù)，并進(jìn)行交叉模態(tài)特征空間學(xué)習(xí)。用矩陣的形式表示捕獲的時(shí)空特征。該方法學(xué)習(xí)了兩種數(shù)據(jù)的共享特征空間，并產(chǎn)生了交叉模態(tài)特征。在該模型中，許多噪聲可以用信息測(cè)度來(lái)減少。使用學(xué)習(xí)交叉模態(tài)特

3、征的共享特征空間來(lái)進(jìn)行動(dòng)作分類。實(shí)驗(yàn)表明，當(dāng)一種數(shù)據(jù)缺失或者丟失時(shí)，依然能夠通過(guò)另一模態(tài)進(jìn)行識(shí)別，提高了識(shí)別泛化能力。且用矩陣表示特征提高了計(jì)算效率。
　?。?）針對(duì) RGB數(shù)據(jù)和深度數(shù)據(jù)都缺失的情況下不能識(shí)別的問(wèn)題，增加骨骼特征來(lái)進(jìn)行動(dòng)作識(shí)別，提出了基于RGB-D的多線性異構(gòu)信息的動(dòng)作識(shí)別研究。該方法充分地利用RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)，并用矩陣形式進(jìn)行捕獲到的時(shí)空關(guān)系特征表示。該方法學(xué)習(xí)了RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)的共