半虛擬現(xiàn)實座艙手部定位技術(shù)研究.pdf

1、輕型飛行模擬器半虛擬現(xiàn)實座艙是訓練飛行員、考察飛行器性能的重要設(shè)備。半虛擬現(xiàn)實座艙與傳統(tǒng)的飛行模擬器相比，體積小，價格低，具有廣闊的應(yīng)用前景。本文以提高輕型飛行模擬器半虛擬現(xiàn)實座艙的性能為主要目標，應(yīng)用圖像采集與處理等方法，對半虛擬現(xiàn)實人手交互操作中的人手定位進行了研究。主要解決佩戴頭盔顯示器之后，如何定位進行操作的訓練員的手部位置這一問題。論文的主要研究內(nèi)容包括：
　　 (1)半虛擬現(xiàn)實座艙交互方式的特點以及實現(xiàn)方法。半虛擬現(xiàn)

2、實座艙的視景顯示系統(tǒng)與傳統(tǒng)的模擬器不同，半虛擬現(xiàn)實座艙采用頭盔式顯示器，虛擬現(xiàn)實的艙外視景與艙內(nèi)視景都顯示在頭盔顯示器上。但佩戴頭盔顯示器以后，訓練員無法看到執(zhí)行操作的手部位置，因此給虛擬現(xiàn)實交互帶來了困難。根據(jù)半虛擬現(xiàn)實的構(gòu)成特點，本文設(shè)計了基于視頻的手部定位與跟蹤方法。對虛擬場景以及手部仍采用傳統(tǒng)的幾何建模方法生成。為實現(xiàn)交互，采用攝像機采集以及基于圖像的手部跟蹤定位方法，實現(xiàn)人手在虛擬場景以及實際場景位置一致的功能。
　　

3、 (2)顏色空間以及顏色標記穩(wěn)定性研究。在圖像處理技術(shù)中顏色信息是有效的圖像特征。攝像機采集到的彩色圖像是由顏色分量合成的。因此無論是對顏色標記點還是對人手進行顏色提取，都需要經(jīng)過顏色特征的判斷來實現(xiàn)。而由于環(huán)境中光的強度以及光的方向會存在變化，因此在不同顏色空間中，不同的顏色特征受到的環(huán)境光的影響不盡相同。為提高顏色特征的穩(wěn)定性，本文對各個顏色空間中的多種顏色點特征進行實驗，找出穩(wěn)定的顏色特征，以及對手部顏色特征來說最穩(wěn)定的顏色空間。

4、
　　 (3)基于標記的雙目視覺手部定位技術(shù)研究。基于標記的雙目視覺手部定位是簡單有效的三維定位技術(shù)。通過在手部附加三種不同的顏色標記點，同時跟蹤三種顏色來定位三點在三維空間中的坐標。對顏色標記的跟蹤本文采用區(qū)域增長法來實現(xiàn)，由于傳統(tǒng)區(qū)域增長法迭代次數(shù)多，速度慢，本文采用圖像動態(tài)分塊的方法來減少迭代次數(shù)。同時通過實驗測試選取區(qū)塊大小以及區(qū)塊質(zhì)心參數(shù)，使得顏色標記的質(zhì)心點計算的實時性與抗干擾性得到了提高。為進一步提高抗噪聲干擾能力

5、，提出一種十字型顏色標記，并應(yīng)用Hough變換的直線檢測方法來求取相交點在圖像中的坐標，實驗結(jié)果證實了該方法獲得的質(zhì)心點坐標具有很高的穩(wěn)定性。
　　 (4)基于攝像機陣列的裸手大運動范圍跟蹤技術(shù)研究。人手的大運動范圍跟蹤是半虛擬現(xiàn)實座艙環(huán)境中需要解決的問題之一。由于手部是柔性體，對手部整體而言，不同的手型整體特征變化很大。因此本文采用手部分割的方法。對手部圖像進行分析處理，將手指從手部的整體中分割出去。僅保留手掌特征。由于手掌在

6、手部運動以及手勢變化過程中變化較小，因此以手掌質(zhì)心為手部特征進行跟蹤定位。為了解決手部在分割過程中易受到各種因素干擾的問題，本文采用攝像機陣列作為圖像采集設(shè)備，在攝像機陣列中對攝像機進行分類。排除受到干擾的攝像機之后，對手掌進行跟蹤。本文綜合攝像機陣列檢測到的圖像信息，應(yīng)用離群點檢測等統(tǒng)計方法，應(yīng)用未經(jīng)標定的攝像機陣列可以得到與標定后的雙目視覺系統(tǒng)精度相當?shù)亩ㄎ幌到y(tǒng)，同時系統(tǒng)檢測范圍以及系統(tǒng)的魯棒性均有很大程度的提高。
　　 (

7、5)基于動態(tài)光場的裸手圖像合成技術(shù)研究。半虛擬現(xiàn)實座艙中手部的手勢識別是手部跟蹤的后續(xù)工作。而手勢識別中會遇到兩大問題，首先，在半虛擬現(xiàn)實座艙手部跟蹤的過程中，座艙環(huán)境中的物體對手部存在著遮擋。手部受到遮擋之后，對手部特征的提取會不準確或失效。其次由于攝像機采集視角的原因，手部在操作按鈕的過程中會存在旋轉(zhuǎn)等動作，在手部旋轉(zhuǎn)之后會出現(xiàn)自遮擋的問題。針對這兩大問題，本文提出基于光場的去遮擋圖像處理方法。綜合應(yīng)用攝像機陣列采集到的圖像信息，以