基于關(guān)節(jié)點特征融合的人體行為識別.pdf

1、人體行為識別是計算機視覺領(lǐng)域的熱門研究課題之一，同時也是非常具有挑戰(zhàn)性的研究難點。它在諸多領(lǐng)域有著廣泛的應(yīng)用，如：智能視頻監(jiān)控、人機交互、基于內(nèi)容的視頻檢索等?？梢?，人體行為識別技術(shù)與人類生活的各個方面密切相關(guān)，相關(guān)研究成果正在急劇地改變著我們的生活。因此，開展人體行為識別的研究具有極其重大的現(xiàn)實意義。
　　大部分現(xiàn)有行為識別方法主要從視頻數(shù)據(jù)出發(fā)，即先從視頻序列中提取與人體行為相關(guān)的特征，再利用提取的特征訓(xùn)練分類器進(jìn)行行為識別。

2、這些方法往往忽略了人體行為最本質(zhì)的信息，即人體各個關(guān)節(jié)點與人體行為之間的關(guān)系。為了更好地利用這一信息，本文分別使用兩種特征融合方式對關(guān)節(jié)點信息進(jìn)行處理，從而獲取更具有判別性的人體行為表示，并分別融合多任務(wù)學(xué)習(xí)框架、多核學(xué)習(xí)框架完成識別任務(wù)。論文的主要工作如下：
　?。?）提出了一種基于人體關(guān)節(jié)點及多任務(wù)稀疏學(xué)習(xí)的行為識別方法，通過多任務(wù)稀疏學(xué)習(xí)挖掘關(guān)節(jié)點之間的內(nèi)在聯(lián)系，實現(xiàn)關(guān)節(jié)點特征的融合。首先在每一幀圖像中提取人體各個關(guān)節(jié)點處的

3、初始特征，為了更好地對時間信息進(jìn)行編碼，采用分層時間結(jié)構(gòu)將視頻序列劃分為不同時間粒度的子序列，然后分別在這些子序列中計算關(guān)節(jié)點初始特征的協(xié)方差特征并將其串聯(lián)以獲取各個關(guān)節(jié)點與時間長度無關(guān)的特征表示。在分類階段，采用基于稀疏表示的分類方法，考慮到人體運動過程中各個關(guān)節(jié)點之間的相互聯(lián)系，通過多任務(wù)稀疏學(xué)習(xí)的方法聯(lián)合學(xué)習(xí)所有關(guān)節(jié)點的稀疏表示，并據(jù)此對人體行為進(jìn)行識別。實驗結(jié)果表明該方法在一定程度上提高了行為識別的準(zhǔn)確率。
　?。?）提出

4、了一種基于人體姿態(tài)和上下文信息的行為識別方法，通過多核學(xué)習(xí)實現(xiàn)姿態(tài)特征和上下文特征的融合。首先提取每一幀圖像中的人體姿態(tài)特征，為了對人體運動信息進(jìn)行更好的描述，通過關(guān)節(jié)點的位置和角度變化情況描述該關(guān)節(jié)點的速度以及角速度信息并作為人體姿態(tài)特征的一部分；同時，為了保證不同長度視頻中提取到的人體姿態(tài)特征具有相同的維度，在分層時間結(jié)構(gòu)中對其實施最大值聚合操作。此外，考慮到人體姿態(tài)特征對描述人體行為的局限性以及周圍環(huán)境中其他事物的運動與人體運動之