基于單目視頻無(wú)標(biāo)記點(diǎn)的三維人體姿態(tài)估計(jì)的研究.pdf

1、基于視頻的人體姿態(tài)跟蹤和三維姿態(tài)估計(jì)在人體動(dòng)畫(huà)、游戲、人機(jī)交互、視覺(jué)監(jiān)控、體育運(yùn)動(dòng)分析、醫(yī)療診斷、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域均有著廣闊的應(yīng)用前景。傳統(tǒng)的方法中，需要在人體上安裝標(biāo)記點(diǎn)以實(shí)現(xiàn)對(duì)人體精確的姿態(tài)跟蹤，但此類(lèi)系統(tǒng)通常都非常昂貴，而且添加的標(biāo)記點(diǎn)一定程度上影響了人體的運(yùn)動(dòng)，極大地限制了該系統(tǒng)的應(yīng)用。如智能監(jiān)控、人機(jī)接口（HCI）、醫(yī)療診斷、體育運(yùn)動(dòng)分析等應(yīng)用都需要利用無(wú)標(biāo)記點(diǎn)的人體運(yùn)動(dòng)跟蹤方法。基于視頻的無(wú)標(biāo)記點(diǎn)人體運(yùn)動(dòng)捕捉系統(tǒng)就是

2、為了這一目標(biāo)而提出的，并且經(jīng)過(guò)二十余年的發(fā)展，逐漸成為一個(gè)熱門(mén)的研究領(lǐng)域。本文著眼于單目視頻中無(wú)標(biāo)記點(diǎn)的人體姿態(tài)跟蹤和三維姿態(tài)估計(jì)展開(kāi)研究工作，主要貢獻(xiàn)包括以下三個(gè)方面：
　　首先，在目標(biāo)跟蹤領(lǐng)域，常常通過(guò)建立先驗(yàn)?zāi)Ｐ?，如路徑一致性假設(shè)模型，對(duì)目標(biāo)軌跡進(jìn)行預(yù)測(cè)來(lái)處理跟蹤過(guò)程中的遮擋問(wèn)題。然而，當(dāng)這種預(yù)測(cè)與目標(biāo)的實(shí)際運(yùn)動(dòng)軌跡相差較大的時(shí)候就會(huì)發(fā)生跟蹤失敗。針對(duì)這一問(wèn)題，本文提出了一種交互式粒子濾波方法，通過(guò)判斷不同目標(biāo)樣本觀測(cè)之間的

3、遮擋關(guān)系，自適應(yīng)地選擇不同外觀模板進(jìn)行相似性度量以更新粒子權(quán)值，成功地解決了跟蹤過(guò)程中各目標(biāo)之間的相互遮擋問(wèn)題。人體四肢可以看做鉸鏈連接的多個(gè)目標(biāo)進(jìn)行跟蹤，因此可以利用交互式粒子濾波算法思想解決肢體之間的遮擋問(wèn)題，實(shí)現(xiàn)對(duì)肢體的穩(wěn)定的二維跟蹤。
　　其次，提出一種適用于三維人體運(yùn)動(dòng)跟蹤和姿態(tài)估計(jì)的具有肢體長(zhǎng)度約束信息的人體圖模型，并將該模型與一個(gè)用于獲取肢體觀測(cè)的二維外觀紙板人體模型和一個(gè)用于三維人體姿態(tài)估計(jì)的三維火柴棍人體模型進(jìn)行

4、了有機(jī)地結(jié)合。作者針對(duì)分塊采樣粒子濾波算法提出人體圖模型。在該模型中，圖的節(jié)點(diǎn)與關(guān)節(jié)點(diǎn)相對(duì)應(yīng)，而邊與肢體觀測(cè)和肢體長(zhǎng)度約束相對(duì)應(yīng)，能夠更好地將約束信息融合到人體姿態(tài)跟蹤的概率框架內(nèi)。同時(shí)，該人體圖模型與二維紙板模型和三維火柴棍人體模型有著相同的關(guān)節(jié)結(jié)構(gòu)，便于二維和三維關(guān)節(jié)點(diǎn)坐標(biāo)序列的計(jì)算。
　　最后，粒子濾波算法雖然提供了一種在一組非高斯、非線性且多模的觀測(cè)數(shù)據(jù)中估計(jì)后驗(yàn)概率的有效方法。但由于人體姿態(tài)跟蹤的高維特性，在使用粒子濾波

5、解決這一問(wèn)題時(shí)通常需要大量的粒子，使粒子濾波算法運(yùn)行緩慢甚至失效。本文引入分塊采樣粒子濾波算法（Partitioned Sampling Particle Filtering），在此框架下使用顏色、邊緣和運(yùn)動(dòng)特征相融合構(gòu)造粒子權(quán)值度量函數(shù)。同時(shí)，在所提出的人體圖模型上使用一種改進(jìn)的信任度傳播（Belief Propagation）算法進(jìn)行權(quán)值的傳播，使得在一個(gè)關(guān)節(jié)點(diǎn)上能夠同時(shí)應(yīng)用多個(gè)人體約束。結(jié)合交互式粒子濾波算法，實(shí)現(xiàn)了對(duì)肢體的穩(wěn)定的

6、二維跟蹤。在捕獲人體關(guān)節(jié)點(diǎn)二維圖像坐標(biāo)后，根據(jù)攝像機(jī)成像模型計(jì)算出各關(guān)節(jié)點(diǎn)的相對(duì)三維坐標(biāo)，進(jìn)而估算出人體相對(duì)圖像坐標(biāo)系的三維姿態(tài)。
　　本文的研究工作為多目標(biāo)跟蹤領(lǐng)域提供了一種處理目標(biāo)間遮擋問(wèn)題的方法，并將該方法應(yīng)用到二維鉸鏈人體姿態(tài)跟蹤領(lǐng)域，較好地處理了肢體間的自遮擋問(wèn)題。同時(shí)，通過(guò)引入分塊采樣粒子濾波算法并在一個(gè)人體圖模型上應(yīng)用肢體長(zhǎng)度約束，實(shí)現(xiàn)了較為精確的二維人體姿態(tài)跟蹤。最后，通過(guò)采用比例正交投影模型計(jì)算關(guān)節(jié)點(diǎn)相對(duì)三維坐標(biāo)