基于多目視頻的三維人體運(yùn)動跟蹤系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、運(yùn)動捕捉技術(shù)可廣泛應(yīng)用于三維影視制作、互動游戲、醫(yī)學(xué)康復(fù)、體育訓(xùn)練、智能人機(jī)交互和遠(yuǎn)程控制等多個領(lǐng)域,具有極高的商業(yè)價值。傳統(tǒng)的機(jī)械式、聲學(xué)式、電磁式及慣性式等非光學(xué)式運(yùn)動捕捉系統(tǒng)和有標(biāo)記點(diǎn)的光學(xué)式運(yùn)動捕捉系統(tǒng)已在上述領(lǐng)域獲得了成功應(yīng)用。相比之下,基于視頻(無標(biāo)記點(diǎn))的運(yùn)動捕捉系統(tǒng)是一種更加靈活的解決方案:從實(shí)際應(yīng)用的角度而言,被跟蹤的人物身體上不需要預(yù)先穿戴傳感器或粘貼各類標(biāo)記點(diǎn);另外從學(xué)術(shù)的角度而言,這種技術(shù)不再僅僅局限于標(biāo)記點(diǎn)的運(yùn)

2、動信息,使得近年來對三維人體外形和運(yùn)動同時進(jìn)行跟蹤與測量成為可能。因而研究更加靈活的基于視頻的人體運(yùn)動捕捉系統(tǒng)同時具有重要的學(xué)術(shù)價值和實(shí)際應(yīng)用價值。
　　本文以基于先驗(yàn)蒙皮模型的三維人體運(yùn)動跟蹤系統(tǒng)為研究對象,研究工作主要圍繞著該系統(tǒng)各個關(guān)鍵技術(shù)展開:
　　對于特定對象的三維人體運(yùn)動捕捉及跟蹤,首先建立了一個該人體的先驗(yàn)蒙皮模型。其中,基于剛體運(yùn)動的twist指數(shù)描述形式,并結(jié)合待拼接點(diǎn)云數(shù)據(jù)的重疊率信息,本文提出了HT-I

3、CP部分重疊點(diǎn)云自動拼接算法,并推導(dǎo)出其等價的線性矩陣方程解。通過與傳統(tǒng)的基于奇異值分解(SVD)的ICP(Iterative closest point)算法和基于四元數(shù)的 ICP算法進(jìn)行對比實(shí)驗(yàn),結(jié)果表明 HT-ICP算法有效地提高了點(diǎn)云自動拼接的速度和精度。針對存在高噪聲的點(diǎn)云數(shù)據(jù),本文給出了“4PCS(4-Points Congruent Sets)”+“HT-ICP”組合拼接方法,獲得令人滿意的拼接結(jié)果。進(jìn)一步,使用 HT-I

4、CP部分重疊點(diǎn)云拼接算法來對VIVID910掃描獲取的對象點(diǎn)云數(shù)據(jù)進(jìn)行拼接,得到一個單一連通的,且封閉的對象專門模型,以作為對象先驗(yàn)蒙皮模型的外部皮膚網(wǎng)格模型。最后通過定義運(yùn)動對象內(nèi)部骨骼模型,并將內(nèi)部骨骼模型和外部皮膚網(wǎng)格模型綁定起來,建立了一個完整的特定跟蹤對象的先驗(yàn)蒙皮模型。
　　提出一種基于蒙皮模型和分層加權(quán)迭代最近點(diǎn)(HWICP)算法的三維人體運(yùn)動跟蹤方法。首先使用Shape-From-Silhouettes方法從當(dāng)前幀

5、多目視頻圖像中提取的人物輪廓并計(jì)算出被跟蹤人物的可視外殼,然后建立人物先驗(yàn)蒙皮模型并與之匹配,其中蒙皮模型的引入使得多關(guān)節(jié)人體三維外形和運(yùn)動跟蹤問題被轉(zhuǎn)化為一個分層最小二乘三維表面匹配問題。接著,使用 HWICP算法來對其進(jìn)行求解。其中在對蒙皮模型肢體與可視外殼的匹配中,針對先驗(yàn)?zāi)Ｐ瞳@取中肢體間連接部位的網(wǎng)格頂點(diǎn)粘連問題,本文采用加權(quán)擴(kuò)展正交普魯克分析(WEOPA),通過引入4種不同的權(quán)值分配策略,有效克服了頂點(diǎn)粘連對匹配的影響,并充分

6、利用了頂點(diǎn)對的幾何信息。
　　提出一種聯(lián)合LBS(Linear Blend Skinning)和Snake變形模型的三維人體外形和運(yùn)動跟蹤方法,能同時捕捉人物的三維外形和運(yùn)動信息。首先建立人物對象的蒙皮模型,然后以每一幀多目同步視頻中的人物輪廓作為輸入,基于HWICP算法捕捉出每一幀 LBS骨架子空間下的人物三維外形及運(yùn)動,然后再一次使用系統(tǒng)多目同步視頻的人物輪廓信息,讓 Snake內(nèi)外力共同作用于皮膚網(wǎng)格模型上的頂點(diǎn),使之自由地

7、趨近于目標(biāo)對象,提高了系統(tǒng)對每一幀人物三維外形信息的捕獲精度。
　　提出一種多目視頻三維人體運(yùn)動跟蹤系統(tǒng)的蒙皮模型自動初始化方法。首先將8個相機(jī)標(biāo)定到同一個世界坐標(biāo)系下,計(jì)算其各自的投影矩陣。由8個同步相機(jī)第一幀的人物輪廓及投影矩陣,重建出目標(biāo)人物的可視外殼,接著提取其頂點(diǎn)坐標(biāo)及法線構(gòu)成三維有向點(diǎn)云,并使用泊松表面重建算法將其轉(zhuǎn)化成一個封閉、光滑、且單一聯(lián)通的三角網(wǎng)格模型,以便于對其進(jìn)行自動分割及肢體標(biāo)注。然后,采用4PCS算法先