基于深度圖像序列的三維人手運(yùn)動跟蹤技術(shù)研究.pdf

1、通過計算機(jī)視覺手段來對人手運(yùn)動進(jìn)行分析是一個重要的研究課題，其研究內(nèi)容包括人手檢測、人手運(yùn)動狀態(tài)估計和行為識別，涉及圖像處理、計算機(jī)視覺、計算機(jī)圖形學(xué)、模式識別和人工智能等多個學(xué)科領(lǐng)域。人手運(yùn)動的視覺分析具有廣闊的應(yīng)用前景，其研究成果可以應(yīng)用于虛擬現(xiàn)實、三維動畫、機(jī)器人模仿學(xué)習(xí)、高級人機(jī)交互、運(yùn)動生物力學(xué)等多個領(lǐng)域。
　　本文主要研究人手運(yùn)動狀態(tài)估計問題，即從視覺觀測估計出人手的全局位姿和各局部關(guān)節(jié)角度的狀態(tài)。人手運(yùn)動狀態(tài)的估計是

2、人手運(yùn)動分析的核心問題，是對人的行為進(jìn)行準(zhǔn)確識別的基礎(chǔ)。本文中的運(yùn)動狀態(tài)估計問題針對的是一個視頻圖像序列，在人手運(yùn)動具有連貫性的假設(shè)下，通過狀態(tài)轉(zhuǎn)移模型的引入，將針對單幀的運(yùn)動狀態(tài)估計問題轉(zhuǎn)化為時間序列上的一個運(yùn)動跟蹤問題。
　　通過計算機(jī)視覺來進(jìn)行多關(guān)節(jié)人手運(yùn)動跟蹤是十分具有挑戰(zhàn)性的，其開發(fā)受困于多個復(fù)雜因素。高維的狀態(tài)空間給全局最優(yōu)的搜索帶來了困難，導(dǎo)致了龐大的計算量;人手運(yùn)動過程中頻繁發(fā)生的自遮擋，會導(dǎo)致觀測的歧義性，造成人

3、手狀態(tài)概率密度的多峰分布，加大全局最優(yōu)的搜索難度;人手運(yùn)動跟蹤的狀態(tài)轉(zhuǎn)移過程和觀測過程均是非線性的，這要求跟蹤算法必須具有解決非線性問題的能力。
　　一個有效的人手運(yùn)動跟蹤方案必須解決以下關(guān)鍵問題:(1)構(gòu)建有效的匹配誤差函數(shù)。匹配誤差函數(shù)用于描述人手姿態(tài)向量與觀測特征之間的匹配程度，它的構(gòu)建是人手運(yùn)動跟蹤的基礎(chǔ)，直接決定跟蹤過程中全局最優(yōu)的搜索難度。好的匹配誤差函數(shù)能夠有效平滑全局最優(yōu)附近的局部極小值，降低全局最優(yōu)的搜索難度。(

4、2)開發(fā)有效的搜索方法。高維的狀態(tài)空間和多峰的概率分布對搜索方法的尋優(yōu)能力提出了很高的要求，搜索方法必須有較快的收斂速度，同時又必須具備一定的魯棒性，能夠跳出局部極小值，最終找到全局最優(yōu)。
　　圍繞上述問題，國內(nèi)外的研究者們進(jìn)行了大量的研究，然而，目前為止的研究成果還難以同時滿足人手運(yùn)動跟蹤實時性、準(zhǔn)確性和魯棒性的要求，離實際應(yīng)用還有一段距離。本文以深度圖像序列作為觀測輸入，基于改進(jìn)的粒子濾波算法，對無標(biāo)記三維人手運(yùn)動跟蹤的相關(guān)技

5、術(shù)進(jìn)行了研究。具體來講，本文完成的主要工作包括以下幾個方面:
　　(1)建立了作為三維人手運(yùn)動跟蹤基礎(chǔ)的人手模型和觀測模型。本文建立了26自由度的人手運(yùn)動學(xué)模型，并根據(jù)解剖學(xué)因素對其施加了運(yùn)動學(xué)約束。為平衡模型精確度和計算復(fù)雜度，本文以基本幾何基元建立了人手形狀模型。本文采用Kinect深度相機(jī)來獲取系統(tǒng)觀測輸入，采用深度特征信息與區(qū)域特征信息融合的方法構(gòu)建了人手姿勢假設(shè)對應(yīng)的模型特征圖像和觀測特征圖像之間的匹配誤差函數(shù)，建立了觀

6、測模型。
　　(2)針對粒子濾波在高維空間中進(jìn)行粒子采樣的困難，將群體智能優(yōu)化方法集成到粒子濾波中，利用其強(qiáng)大的全局優(yōu)化能力改善粒子濾波樣本分布，提出了兩種具體的三維人手跟蹤算法。第一種算法將差分進(jìn)化與粒子濾波結(jié)合，利用差分進(jìn)化對當(dāng)前觀測下的匹配誤差的優(yōu)化來驅(qū)動粒子向高似然概率區(qū)域運(yùn)動;第二種算法將一種現(xiàn)有的粒子群優(yōu)化粒子濾波算法應(yīng)用于高維空間中的人手運(yùn)動跟蹤，并針對人手高維空間中的早熟收斂問題，同時采用模擬退火思想和局部隨機(jī)化技

7、術(shù)對算法進(jìn)行收斂性改進(jìn)。實驗證明，這兩種算法均能夠有效魯棒地跟蹤三維人手運(yùn)動，第二種跟蹤算法的跟蹤精度略優(yōu)于第一種算法。
　　(3)通過采用同時為人手和物體建模的方法，研究了人手與物體交互過程的跟蹤。在現(xiàn)實世界的許多場景中，人手的活動通常是交互性的。其中，最常見的是人手與物體的交互。物體的存在增加了人手運(yùn)動分析的復(fù)雜性，而另一方面，物體上下文所攜帶的有用信息會對人手運(yùn)動的識別和估計起到促進(jìn)作用。本文采用基于模型的方法來跟蹤人手與物

8、體的交互過程，同時為人手與物體建立三維模型和運(yùn)動模型，并同時跟蹤三維空間中人手與物體的運(yùn)動。本文采用單一深度圖像序列作為觀測輸入建立了觀測模型，采用改進(jìn)的粒子群優(yōu)化粒子濾波作為跟蹤算法，最終形成的跟蹤方法能有效跟蹤人手與物體的交互過程。
　　(4)根據(jù)本文所提出的結(jié)合群體智能優(yōu)化與粒子濾波的跟蹤算法的特點，在充分了解圖形引擎OpenSceneGraph(OSG)內(nèi)部渲染流程和多線程模型的基礎(chǔ)上，通過采用離屏渲染技術(shù)，開發(fā)了兩種基于