基于時(shí)空興趣點(diǎn)的人體行為識(shí)別與預(yù)測(cè).pdf

1、人體行為識(shí)別與預(yù)測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域最有應(yīng)用前景的研究方向之一，它的目的是利用計(jì)算機(jī)技術(shù)自動(dòng)地識(shí)別和預(yù)測(cè)已經(jīng)完成或正在進(jìn)行的人類運(yùn)動(dòng)行為，包括個(gè)體行為、群體行為以及人與外界之間的交互行為。相關(guān)理論研究在智能監(jiān)控、人機(jī)交互、運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)等方面具有廣闊的應(yīng)用前景和巨大的市場(chǎng)需求，因此受到來(lái)自工業(yè)界、學(xué)術(shù)界、商業(yè)界以及安全機(jī)構(gòu)等領(lǐng)域的廣泛關(guān)注。人體運(yùn)動(dòng)行為模式的研究將給人們帶來(lái)全新的生活方式。
　　近年來(lái)，人體行為的描述方法層出不窮

2、，其中基于時(shí)空興趣點(diǎn)的行為表示方法最為流行，該方法簡(jiǎn)單可靠，對(duì)于噪聲、遮擋以及幾何變換都具有較強(qiáng)的穩(wěn)定性。雖然基于時(shí)空興趣點(diǎn)的識(shí)別方法已經(jīng)取得了很大的進(jìn)展，但是仍然存在一些急需解決的問(wèn)題。時(shí)間順序信息對(duì)于運(yùn)動(dòng)行為的描述十分重要，傳統(tǒng)的時(shí)空興趣點(diǎn)特征僅僅描述單一興趣點(diǎn)特征，丟失了大量時(shí)間信息，挖掘描述性更強(qiáng)的底層特征是行為識(shí)別問(wèn)題的基礎(chǔ)。對(duì)于復(fù)雜背景下的運(yùn)動(dòng)行為，如何區(qū)分出目標(biāo)特征和背景特征并且篩選出各個(gè)行為類別中具有較強(qiáng)代表性和區(qū)分性的

3、特征仍然是一個(gè)開(kāi)放性問(wèn)題。另外，傳統(tǒng)的行為識(shí)別問(wèn)題主要針對(duì)完整的運(yùn)動(dòng)行為，如果目標(biāo)視頻是一個(gè)正在進(jìn)行的尚未完成的運(yùn)動(dòng)行為，這就產(chǎn)生了行為分析領(lǐng)域的一個(gè)新的問(wèn)題——行為預(yù)測(cè)。本文工作主要針對(duì)以上問(wèn)題，提出解決方案，論文的主要工作和貢獻(xiàn)如下:
　　(1)提出一種基于線性動(dòng)態(tài)系統(tǒng)的局部時(shí)空區(qū)域描述子。線性動(dòng)態(tài)系統(tǒng)可以描述動(dòng)態(tài)紋理變化，反映運(yùn)動(dòng)時(shí)間信息。根據(jù)這一特性，我們提出采用線性動(dòng)態(tài)系統(tǒng)來(lái)描述時(shí)空興趣點(diǎn)周圍區(qū)域的特征。由于線性動(dòng)態(tài)系統(tǒng)

4、特征不存在于歐氏空間，所以我們利用核主角來(lái)度量線性動(dòng)態(tài)系統(tǒng)特征之間的相似性，再采用多類別的譜聚類算法對(duì)視頻中提取出的局部動(dòng)態(tài)系統(tǒng)特征進(jìn)行聚類，在BOW模型的基礎(chǔ)上產(chǎn)生初始的詞匯表。進(jìn)一步，我們提出一種有監(jiān)督的詞匯表優(yōu)化方法，通過(guò)擴(kuò)大類間距離同時(shí)減小類內(nèi)距離來(lái)保留各個(gè)類別中區(qū)分性較強(qiáng)的視覺(jué)單詞并且抑制噪聲。實(shí)驗(yàn)結(jié)果表明，相比于經(jīng)典的梯度和光流特征，本文提出的基于線性動(dòng)態(tài)系統(tǒng)的局部時(shí)空區(qū)域描述子可以獲取視頻中更多的時(shí)間信息，提高識(shí)別準(zhǔn)確率。

5、
　　(2)提出一種基于多字典稀疏表示的有監(jiān)督分類方法。不同的行為類別含有不同的具有代表性的行為特征，傳統(tǒng)的基于單一字典的稀疏表示模型不容易區(qū)分這些特征，因此我們提出基于多字典的稀疏表示模型，使得每個(gè)行為類別具有各自專屬的詞匯表。該模型通過(guò)在原有的基于L1范數(shù)稀疏表示基礎(chǔ)上增加樣本間的相似性約束項(xiàng)來(lái)獲取類內(nèi)行為的共性特征，通過(guò)增加不同類別字典之間的差異性約束項(xiàng)來(lái)區(qū)分不同類別行為之間的差異性。另一方面，我們提出分類損失函數(shù)，對(duì)多個(gè)字

6、典進(jìn)行同時(shí)優(yōu)化，學(xué)習(xí)出對(duì)于各個(gè)類別具有代表性的行為字典。實(shí)驗(yàn)結(jié)果證明，基于多字典的稀疏表示模型對(duì)于分類問(wèn)題更具有針對(duì)性。
　　(3)提出一種基于高層行為單元的行為表示方法和基于組稀疏的高層特征篩選方法。傳統(tǒng)的底層特征對(duì)于復(fù)雜運(yùn)動(dòng)行為的描述存在局限性，我們?cè)诘讓訒r(shí)空上下文特征的基礎(chǔ)上，利用基于圖模型的非負(fù)矩陣分解算法將一個(gè)完整的運(yùn)動(dòng)行為分解成多個(gè)簡(jiǎn)單的行為單元。我們認(rèn)為來(lái)自同一類別的運(yùn)動(dòng)行為應(yīng)該具有相似的行為單元，基于這個(gè)理論，我們

7、提出基于L2，1范數(shù)組稀疏的行為單元篩選方法，保留各個(gè)類別中具有代表性的行為單元。實(shí)驗(yàn)結(jié)果證明，本文提出的基于行為單元的行為描述方法能夠有效提高分類精度。
　　(4)提出基于帶有時(shí)間權(quán)重的廣義時(shí)間規(guī)整的行為預(yù)測(cè)算法?，F(xiàn)有的大多數(shù)行為識(shí)別算法都是分析一段完整的人體行為視頻，行為預(yù)測(cè)則是判斷正在進(jìn)行中的運(yùn)動(dòng)行為類別。不同于完整運(yùn)動(dòng)行為的識(shí)別問(wèn)題，尚未完成的運(yùn)動(dòng)行為缺失很多運(yùn)動(dòng)特征，而且相對(duì)于完整行為的時(shí)間進(jìn)展也是未知的。我們提出基于時(shí)