多視角三維人體運(yùn)動(dòng)捕捉的研究.pdf

1、非接觸式人體運(yùn)動(dòng)捕捉一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題。但經(jīng)過多年的研究，由于復(fù)雜多變的背景、三維空間到二維圖像平面投影的多義性、人體遮擋與自遮擋、高維狀態(tài)空間搜索等問題，非接觸式人體運(yùn)動(dòng)捕捉仍是一項(xiàng)非常具有挑戰(zhàn)性的課題。
　　本文針對(duì)目前非接觸式人體運(yùn)動(dòng)捕捉研究中存在的問題，圍繞多視角三維人體運(yùn)動(dòng)捕捉這一課題展開深入探討。重點(diǎn)研究了如何在復(fù)雜場(chǎng)景下有效提取人體輪廓，如何去除多視角三維人體運(yùn)動(dòng)捕捉中對(duì)視頻同步的假設(shè)，以及如何魯棒的對(duì)人

2、體姿態(tài)進(jìn)行估計(jì)，這三個(gè)重要問題。致力于盡可能減少現(xiàn)有多視角人體運(yùn)動(dòng)捕捉系統(tǒng)在實(shí)際應(yīng)用中的限制，構(gòu)建一個(gè)能夠應(yīng)對(duì)復(fù)雜背景，具有移動(dòng)靈活性，并且能夠準(zhǔn)確獲取人體運(yùn)動(dòng)數(shù)據(jù)的人體運(yùn)動(dòng)捕捉方案。本文的主要研究工作及貢獻(xiàn)包括以下幾個(gè)方面:
　　1.提出了一種基于雙層高斯混合模型(Bilayer Gaussian Mixture Model，BGMM)和馬爾可夫隨機(jī)場(chǎng)(Markov Random Field，MRF)的前景分割方法，即BGMM-

3、MRF。它不僅能夠處理動(dòng)態(tài)場(chǎng)景中的重復(fù)性擾動(dòng)因素，而且能夠處理場(chǎng)景中緩慢或劇烈的光照變化。與現(xiàn)有只考慮了重復(fù)性擾動(dòng)、緩慢的光照變化，或只針對(duì)劇烈光照變化的前景分割方法相比，它能夠適應(yīng)更復(fù)雜的場(chǎng)景。此外，通過將BGMM與MRF相結(jié)合，它同時(shí)利用了像素在時(shí)間和空間上的關(guān)聯(lián)，能夠有效糾正分割結(jié)果中的“偽目標(biāo)”和“空洞”，確保提供與目標(biāo)形狀一致的分割結(jié)果。
　　2.提出了一種基于層次式MRF（Hierachichal-MRF，HMRF）的

4、前景分割方法。針對(duì)BGMM-MRF只能對(duì)出現(xiàn)過的背景狀態(tài)快速響應(yīng)，而對(duì)新的背景狀態(tài)需要時(shí)間適應(yīng)學(xué)習(xí)的問題，我們提出了一個(gè)新的HMRF概率模型。通過HMRF，將BGMM-MRF中對(duì)全局背景狀態(tài)的推斷轉(zhuǎn)化為在區(qū)域?qū)哟紊蠈?duì)背景狀態(tài)的推斷，擴(kuò)展了能夠處理的背景狀態(tài)。在分割過程中，采用軟分割的策略，處理背景狀態(tài)離散性與光照空間變化連續(xù)性的問題，提高算法的魯棒性和精確性。
　　3.針對(duì)現(xiàn)有多視角人體運(yùn)動(dòng)捕捉需要使用昂貴的硬件同步設(shè)備及特殊攝像

5、機(jī)完成視頻同步的問題，提出了一種基于非同步視頻的人體運(yùn)動(dòng)捕捉方法。它利用劇烈光照變化對(duì)多視頻的同步參數(shù)進(jìn)行估計(jì)，并提出一種可以處理劇烈光照變化的人體姿態(tài)估計(jì)方法，基于估計(jì)的同步參數(shù)獲取人體運(yùn)動(dòng)數(shù)據(jù)。從而去除了多視角人體運(yùn)動(dòng)捕捉中關(guān)于視頻同步的假設(shè)，免除了對(duì)硬件同步設(shè)備的需要，在降低系統(tǒng)造價(jià)和技術(shù)復(fù)雜度的同時(shí)提高了系統(tǒng)的移動(dòng)靈活性。
　　4.提出了一種基于顏色約束動(dòng)態(tài)MRF的人體姿態(tài)估計(jì)方法(ColorConstrained Dyn

6、amic MRF，CC-DMRF)。它采用一種高效的方式獲取帶有表面紋理的人體體素重建數(shù)據(jù)，并通過構(gòu)建身體部位顏色模型將顏色信息引入姿態(tài)優(yōu)化過程。與現(xiàn)有的三維動(dòng)態(tài)馬爾可夫隨機(jī)場(chǎng)(3D Dynamic MarkovRandom Field，3D-DMRF)人體姿態(tài)估計(jì)方法相比，CC-DMRF方法通過引入顏色約束，一定程度上解決了在人體不同部位接觸時(shí)，體素?cái)?shù)據(jù)與人體模型匹配中產(chǎn)生的多義性問題，提高了人體姿態(tài)估計(jì)的魯棒性。
　　5.構(gòu)建