actionrecognition-jdl聯(lián)合實驗室

1、Learning a Discriminative Hidden Part Model for Human Action Recognition,講解人：李 哲中科院計算所JDL2010年4月23日,2024/3/15,1,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,2,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動

2、特征部件模型實驗結(jié)果結(jié)論,2024/3/15,3,# 第一作者,Yang WangPhD student School of Computer ScienceSimon Fraser University, CanadaResearch InterestsComputer vision , statistical machine learningPublicationsHuman Action Recognitio

3、n & Human pose detection2005~2010: PAMI(2), NIPS(3), ICCV(3), CVPR(3), ACCV(1), ECCV(1), ICML(1)BackgroundPh.D. (recently finished) : Simon Fraser University, Canada;M.S. : University of Alberta, Canada;B.S. :

4、Harbin Institute of Technology, China.Homepagehttp://www.sfu.ca/~ywang12/,2024/3/15,4,# 第二作者,Greg Mori Assistant ProfessorSchool of Computer ScienceSimon Fraser University, CanadaResearch Interestshuman body pose

5、 estimation, pedestrian detection, activity recognition, object recognition, machine learning AwardsOutstanding Reviewer, ICCV 2009BackgroundPh.D. (2004) : University of California at Berkeley, US;B.S. (1999) : Univ

6、ersity of Toronto, Canada.Homepagehttp://www.cs.sfu.ca/~mori/,2024/3/15,5,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,6,# Abstract,We present a discriminative part-based approach for human action re

7、cognition from video sequences using motion features. Our model is based on the recently proposed hidden conditional random field (hCRF) for object recognition. Similar to hCRF for object recognition, we model a human a

8、ction by a flexible constellation of parts conditioned on image observations. Different from object recognition, our model combines both large-scale global features and local patch features to distinguish various actions

9、. Our experimental results show that our model is comparable to other state-of-the-art approaches in action recognition. In particular, our experimental results demonstrate that combining large-scale global features an

10、d local patch features performs significantly better than directly applying hCRF on local patches alone.,2024/3/15,7,# 摘要,本文提出了一種基于部件的判別方法，該方法使用運動特征能夠在視頻序列中識別人體動作。本方法靈感來自于物體檢測中的隱條件隨機場（hCRF）方法。與其類似的，本文基于圖像對人體動作建立了一個的部件模型

11、；與其不同的，我們將全局特征和局部塊特征聯(lián)合來區(qū)分不同的動作。實驗結(jié)果表明，我們的模型能夠與其他的state-of-the-art方法可比。實驗結(jié)果還證明了，對于hCRF方法，聯(lián)合全局特征和局部塊特征比單單使用局部快特征有更好的性能。,2024/3/15,8,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,9,# 問題的提出,動作識別需要解決的問題判斷

12、給定的一段視頻中的動作類型物體檢測 ——動作識別物體檢測中hCRF的成功應(yīng)用Ariadna Quattoni, Michael Collins and Trevor Darrell. Conditional Random Fields for Object Recognition, NIPS 2005本文對這套方法進行部分改進，引入 到Human Action Recognition,2024/3/15,10,,#

13、提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,11,模型基于貝葉斯理論,獨立性假設(shè),# Hidden Markov model,一階鏈式隱馬爾可夫模型,對聯(lián)合概率的估計,,Definition of CRFs：graph structure G of label set is said to be a CRFs , if and only if it sati

14、sfies Markovianity：,Model：,To predict:,Conditioned on all the observations,Relax independence assumption,model posterior distribution directly,# Conditional Random Fields,If the graph structure G=(V, E) of label set for

15、ms a tree:,According to fundamental theorem of MRFs：,：association and interactive potentials OR features,: model parameters,# Conditional Random Fields,The model： 在CRF中引入隱含變量hi 隱含變量hi 之間通過無向圖產(chǎn)生關(guān)聯(lián) 直接對條件概率進行估計

16、 The posterior ： To predict:,# Hidden Conditional Random Fields,Given potential function：Conditional probabilistic model：,If the graph forms a tree, then, the potential function will take the form:,# Hi

17、dden Conditional Random Fields,#CRF&hCRF資源,文章&代碼跟蹤整理Hanna m. wallach http://www.inference.phy.cam.ac.uk/hmw26/crf/,2024/3/15,17,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,18,# 篇章結(jié)構(gòu),1. Introd

18、uction2. Our Model2. 1 Motion feature2. 2 Hidden conditional random field (hCRF)3. Learning and Inference3.1 Learning root filter3.2 Patch initialization3.3 Inference4. Experiments4.1 Weizmann datasets4.2 KTH

19、datasets5. Conclusion,2024/3/15,19,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,20,2024/3/15,21,MotionFeaturex,Class Label y,,Each Frame,Hidden Part Model,Mapping motion feature of one frame to cla

20、ss label,# 模型介紹——Framework,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,22,#Motion Feature——光流(Optical Flow)簡介,,光流描述視頻中的運動信息，可以看做是一種運動特征前提假設(shè)與三維空間物體點相對應(yīng)的圖像點及其附近的灰度值在運動中保持不變（亮度守恒），變化的是物體的位置設(shè)I(x,y,t)表示

21、視頻序列的亮度變化函數(shù)，假設(shè)t時刻的成像點(x,y)在t+dt時刻運動到(x+dx,y+dy),,,,,忽略不計,=0,,,光流方程,,v(vx, vy) 稱為光流場,#Motion Feature——特征提取,Optical Flow Feature視頻預(yù)處理：對每一幀都截取子塊，子塊以感興趣的運動物體為中心采用Lucas-Kanade[2] 算法計算 光流將光流場F拆分成4個channel將F按方向分成：Fx ，F(xiàn)y再將

22、Fx, Fy按正負值分成：Fx+, Fx-, Fy+, Fy-分別對Fx+, Fx-, Fy+, Fy-，進行Gaussian blur & normalization,[1] Recognizing Action at a Distance, ICCV 2003[2] An Iterative Image Registration Technique with an Application to Stere

23、o Vision, IJCAI 1981,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,25,#Hidden Part Model(1),2024/3/15,26,通過建立上述的圖模型，便可完全套用hCRF的一整套理論，建立從x到y(tǒng)的映射,圖1. 模型示意圖每個頂點表示一個變量，每個小方形表示模型中的一個參數(shù)（描述2個或3個變量的相關(guān)程度）。,符號說明：

24、I：頻序列中的一幀，包含一些顯著的patch分別記為{I1, I2, …, Im}x：圖像I的運動特征，其中對應(yīng)于I中patch區(qū)域的特征記為{x1, x2, …, xm}y: 該幀圖像所在video的動作類別標簽。y的集合記為Yh: 隱變量(部件類別標簽)。h的集合記為H。對于每個patch Im 均有一個hm與之對應(yīng)。因此對應(yīng)于{I1, I2, …, Im},有{h1,h2,…,hm}。hi與hj之間的連線是由以patch之

25、間的相似度為權(quán)重的圖結(jié)構(gòu)生成的最小生成樹。,#Hidden Part Model(2),2024/3/15,27,根據(jù)隱條件隨機場理論有： ， 為模型參數(shù)其中

26、 為以 為參數(shù)的勢函數(shù),#Hidden Part Model(3),2024/3/15,28,設(shè) 是關(guān)于參數(shù) 是線性的則有,,,,,#Hidden Part Model(4),2024/3/15,29,,運動信息,位置信息,,將圖像均勻劃分為L個bin 表示一個L

27、維的向量。當(dāng)且僅當(dāng) 落在圖像的第k個bin時，將 的第k維設(shè)置為1，其他為0,,,示意圖,,,,#Hidden Part Model(5),2024/3/15,30,,,,Root Model（創(chuàng)新點）,# Learning and Inference(1),2024/3/15,31,模型參數(shù)學(xué)習(xí),利用 belief propagation能夠在O(|Y||E||H|2)復(fù)雜度計算得到參數(shù),由于引入了隱含變量h，

28、hCRF是非凸的，但仍然可以使用梯度下降法得到局部最優(yōu)解,# Learning and Inference(2),2024/3/15,32,關(guān)于參數(shù)初值設(shè)置給定訓(xùn)練數(shù)據(jù)(xt, yt),首先解決如下優(yōu)化問題 將 作為梯度下降法中 的初值，其他參數(shù)( )初值隨機設(shè)置,# Learning and Inference(3),2024/3/15,33,關(guān)于patch的選擇Training

29、setsTesting sets未知所屬動作類別，選用哪個root model，哪個參數(shù)？解決方案對于motion feature x，分別采用不同的root model選擇patch，得到|Y|組patch .其中 表示采用root filter 得到的一組patch；最終圖像x的動作標簽為：,# 提綱,作者介紹文章

30、摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運動特征部件模型實驗結(jié)果結(jié)論,2024/3/15,34,# 實驗——root filter結(jié)果,2024/3/15,35,# 實驗——Weizmann Dataset,2024/3/15,36,Weizmann數(shù)據(jù)庫包含9個人的9種動作的共83段視頻序列。隨機抽取5個人的9種動作視頻作為訓(xùn)練集，剩下4人的視頻作為測試集。下圖顯示分別采用root model，local hCRF

31、 & 本文方法的平均識別正確率。,|H|表示隱變量的個數(shù),,# 實驗——Weizmann Dataset,2024/3/15,37,|H|=10,|H|=10,,,# 實驗——KTH Datasets,2024/3/15,38,KTH數(shù)據(jù)庫包含25個人在4種場景下的6種動作，共600段視頻。隨機選取一半視頻作為訓(xùn)練一半測試。對每段視頻隨機抽取10幀作為實驗數(shù)據(jù)。下圖顯示分別采用root model，local hCRF

32、& 本文方法的平均識別正確率。,,# 實驗——KTH Datasets,2024/3/15,39,|H|=10,|H|=10,,# 結(jié)論,本文提出了一種用于人體動作識別的部件模型，模型通過root filter對部件進行初始化，無需人為指定部件。模型同時運用了global 特征和local特征實驗結(jié)果與當(dāng)前state-of-art方法可比，同時證明了將兩類特征（global & local feature）結(jié)合的性能