人體運(yùn)動(dòng)的視覺重建與識(shí)別.pdf

1、人體運(yùn)動(dòng)分析是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)前沿課題，其研究目標(biāo)是使計(jì)算機(jī)能夠基于人體結(jié)構(gòu)、人體運(yùn)動(dòng)等先驗(yàn)知識(shí)，自動(dòng)地從圖像中檢測和發(fā)現(xiàn)人并重建人體運(yùn)動(dòng)，最終達(dá)到在語義層上對人體運(yùn)動(dòng)行為的感知和理解。研究涉及多個(gè)學(xué)科領(lǐng)域，在人機(jī)交互、安全監(jiān)控、虛擬現(xiàn)實(shí)、醫(yī)學(xué)、體育等方面有廣泛的應(yīng)用。本論文工作主要圍繞人體運(yùn)動(dòng)視覺分析中的兩個(gè)重點(diǎn)內(nèi)容:人體運(yùn)動(dòng)三維重建和人體運(yùn)動(dòng)的語義識(shí)別展開。主要研究成果如下:
　　(1)針對由單目非標(biāo)定攝像機(jī)引發(fā)的病態(tài)性，

2、以及狀態(tài)空間高維特性引發(fā)的維數(shù)災(zāi)難，論文提出了進(jìn)化計(jì)算框架內(nèi)的生成式算法:層級退火遺傳算法(HAGA)。算法提供了一般意義下具有分層特性的狀態(tài)空間的最優(yōu)解搜索機(jī)制。對于具有高維非線性狀態(tài)空間特性的人體運(yùn)動(dòng)重建，首先在運(yùn)動(dòng)捕獲數(shù)據(jù)上提取人體運(yùn)動(dòng)的分層狀態(tài)子空間，優(yōu)化搜索在低維子空間內(nèi)進(jìn)行，不僅降低了維數(shù)，而且提取了人體運(yùn)動(dòng)的先驗(yàn)知識(shí)。HAGA結(jié)合了模擬退火和遺傳算法機(jī)制，利用似然度函數(shù)對子空間高層維度上的狀態(tài)變化更為敏感的特性進(jìn)行分層優(yōu)化

3、搜索，降低計(jì)算復(fù)雜度的同時(shí)有效提升了姿態(tài)估計(jì)的精度。
　　(2)在診斷式框架下，論文提出了基于角點(diǎn)的新的特征表示，同時(shí)編碼了肢體位置、視覺表觀和局部結(jié)構(gòu)信息，可捕獲局部結(jié)構(gòu)的空間共生和上下文信息，得到的描述子具有光照和位置不變性。論文把診斷式三維人體運(yùn)動(dòng)重建中特征、算法、傳感器配置納入一個(gè)框架內(nèi)綜合考慮。傳感器配置上把單目重建擴(kuò)展到了多目情形，重建精度得到了有效提升，這是在診斷式框架內(nèi)融合多目信息的極少嘗試之一。論文同時(shí)也評估了視

4、覺信息的數(shù)量和質(zhì)量、算法以及多目信息融合對系統(tǒng)性能的影響，可為人體運(yùn)動(dòng)重建系統(tǒng)的設(shè)計(jì)提供重要的指導(dǎo)和參考。
　　(3)針對單目重建中狀態(tài)后驗(yàn)分布的多模性難點(diǎn)，論文提出了一種新的狀態(tài)后驗(yàn)分布模型:局部時(shí)空高斯過程專家模型。把輸入相關(guān)的狀態(tài)空間分割為若干局部區(qū)域，每個(gè)區(qū)域的后驗(yàn)分布由一個(gè)局部高斯過程專家主導(dǎo)，模型定義在統(tǒng)一的輸入-輸出空間內(nèi)，可更靈活有效地處理雙向多模分布。同時(shí)構(gòu)建了時(shí)域鏈上的局部高斯過程專家模型，整合時(shí)域和空域?qū)＜疫M(jìn)

5、行狀態(tài)后驗(yàn)分布建模。人體運(yùn)動(dòng)的動(dòng)態(tài)特性使?fàn)顟B(tài)在狀態(tài)空間內(nèi)沿特定流形分布，使用時(shí)域?qū)＜也粌H可消除多模性，還能挖掘輸出空間內(nèi)潛在的上下文信息。
　　(4)為從實(shí)驗(yàn)角度增加對人體運(yùn)動(dòng)視覺重建研究現(xiàn)狀的“能見度”，論文對人體運(yùn)動(dòng)重建方法現(xiàn)狀進(jìn)行了系統(tǒng)回顧與實(shí)驗(yàn)評估。論文對兩類重建框架內(nèi)的代表性方法進(jìn)行了定量的實(shí)驗(yàn)評估和比較。評估采用統(tǒng)一的誤差度量和數(shù)據(jù)庫。為進(jìn)行本次評估，特組織構(gòu)建了一個(gè)人體姿態(tài)估計(jì)與動(dòng)作識(shí)別的大型數(shù)據(jù)庫。這是目前學(xué)界最全

6、面的對兩種框架內(nèi)代表性方法的評估和分析，為發(fā)現(xiàn)潛在有價(jià)值的研究方向提供了有益的導(dǎo)向和參考。
　　(5)在人體運(yùn)動(dòng)識(shí)別研究方面，論文提出了基于稀疏編碼和局部時(shí)空特征的人體動(dòng)作識(shí)別方法。論文通過稀疏編碼構(gòu)建人體運(yùn)動(dòng)識(shí)別高區(qū)分度的碼本和特征表達(dá)，視覺信號(hào)的基本表示單元為時(shí)空局部特征向量。由于從圖像中很難得到的語義信息往往可以從文字信息中輕松獲取，為充分利用文本信息，以輔助識(shí)別人體運(yùn)動(dòng)，論文提出了靜態(tài)文本和運(yùn)動(dòng)字幕檢測的新方法，使用角點(diǎn)這