多目視頻中人體姿態(tài)恢復(fù)及跟蹤的研究.pdf

1、基于視頻的動(dòng)作捕捉技術(shù)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中熱門(mén)的研究方向之一。它主要應(yīng)用于影視動(dòng)畫(huà)制作、人機(jī)交互游戲、動(dòng)作分析（運(yùn)作、醫(yī)學(xué)方面）、以及智能監(jiān)控等方面。人體運(yùn)動(dòng)捕捉的關(guān)鍵技術(shù)是姿態(tài)估計(jì)，即從二維視頻中提取三維人體姿態(tài)參數(shù)。研究的主要內(nèi)容涉及相機(jī)定標(biāo)、背景分割、三維重建、姿態(tài)初始化、運(yùn)動(dòng)跟蹤等方面;其中跟蹤問(wèn)題是研究的難點(diǎn)和重點(diǎn)。
　　 在非標(biāo)記的動(dòng)作捕捉系統(tǒng)的研究中，可分為基于模型和基于無(wú)模型的方法。其中基于無(wú)模型的方法需要建立

2、樣本訓(xùn)練集，系統(tǒng)的復(fù)雜度較高;而基于模型的方法存在模型與實(shí)驗(yàn)數(shù)據(jù)不匹配等問(wèn)題。本文針對(duì)這些問(wèn)題提出一種自頂向下分層次地跟蹤方法，可準(zhǔn)確地從視頻中恢復(fù)出人體姿態(tài)。主要的工作歸納如下:
　　 首先，本文提出了一種基于輪廓分割的初始化方法。此方法通過(guò)整合首幀圖像中人體的二維及三維信息進(jìn)而自動(dòng)地恢復(fù)出人體的三維姿態(tài)，并建立自適應(yīng)的人體模型，從而完成人體模型的初始化。該方法首先從選定的視圖中提取前景信息，即人體輪廓，然后采用區(qū)域分割法對(duì)人

3、體輪廓進(jìn)行標(biāo)記;接著采用基于查找表的輪廓恢復(fù)外形(Shape-From-Silhouette，即SFS)算法，結(jié)合二維圖像的人體姿態(tài)信息與三維空間信息，恢復(fù)出分塊標(biāo)記的三維人體體素;最后，根據(jù)分塊標(biāo)記的體素信息以及人體骨架的拓?fù)浼s束關(guān)系，提取出三維人體骨架的參數(shù)及空間位置信息，從而完成三維人體模型的初始化。
　　 其次，根據(jù)人體運(yùn)動(dòng)在時(shí)間和空間的連續(xù)性，本文提出基于標(biāo)記體素的運(yùn)動(dòng)跟蹤方法。為了快速實(shí)現(xiàn)運(yùn)動(dòng)跟蹤，本文首先根據(jù)人體體

4、素的連通性，將人體體素分為表層體素、內(nèi)層體素和中間層體素。其中中間層體素用于人體運(yùn)動(dòng)跟蹤，表層體素用于模型參數(shù)的全局優(yōu)化。該方法首先通過(guò)模板搜索的方法檢測(cè)出頭部的信息;然后預(yù)測(cè)人體軀干的主方向向量，并采用主成分分析(Principal ComponentAnalysis，即PCA)算法提取出根部節(jié)點(diǎn)信息。接著，將余下的體素與前一幀的模型參數(shù)在馬式距離約束下進(jìn)行分割標(biāo)記，并與其對(duì)應(yīng)的模型體塊通過(guò)最近點(diǎn)迭代(Iterative Closes