用于人機(jī)交互的手勢識別研究.pdf

1、最近幾年來,隨著計算機(jī)技術(shù)的迅速發(fā)展,研究符合人際交流習(xí)慣的人機(jī)交互于段取得了較大的進(jìn)展.人的手勢作為人們?nèi)粘Ｉ钪凶顝V泛使用的一種交流方式,手勢識別的研究受到了越來越廣泛的關(guān)注,然而由于手勢本身具有的多樣性、多義性,以及時間和空間上的差異性等特點(diǎn),加之人手是復(fù)雜的變形體以及視覺本身的不適定性,使手勢識別成為一個具有挑戰(zhàn)性的多學(xué)科交義的研究課題。 本論文的主要的創(chuàng)新工作如下: 1)提出了基于主動外觀模型(AAM)的手勢特

2、征提取方法。其目的是為了利用所建立的AAM來有效地描述未知的輸入圖像,并實(shí)現(xiàn)模型生成的合成圖像與輸入圖像的誤差最小化。該方法優(yōu)點(diǎn)在于綜合考慮手勢圖像的形狀信息和灰度信息而實(shí)行對手勢的精確分割。 2)提出了基于LLE的手勢特征提取算法。該算法將輸入向量認(rèn)為是高維空間的點(diǎn),并具有k個鄰域點(diǎn)。利用鄰域點(diǎn)的線性組合重構(gòu)該點(diǎn),并在低維空間中尋找原始數(shù)據(jù)組的插值,通過最小化插值損耗函數(shù)保持原高維空間的幾何特征,從而提取各類手勢圖像的內(nèi)在特征

3、,達(dá)到非線性降維的目的。 3)針對手勢數(shù)據(jù)的相似性,提出了一種改進(jìn)的模糊粗糙集近鄰分類算法(FRNNC)。手勢數(shù)據(jù)存在著的相似性,以及同類手勢因視角不同而產(chǎn)生的差異,這些都造成了輸入數(shù)據(jù)本身存在一定的模糊粗糙不確定性.改進(jìn)的FRNNC算法從每類樣本中選出最能代表該類樣本分布的聚類代表點(diǎn),計算測試樣本到各類聚類代表點(diǎn)的平均相似度,從而達(dá)到對手勢圖像的識別.與基本的FRNN算法相比,以極小的識別率代價換取了分類速度的較大提高。

4、 4)應(yīng)用了基于容錯粗糙集(TRS)的兩步分類法對手勢圖像進(jìn)行分類識別。在手勢識別中,還包含有不能確切判定是否屬于給定類的對象,這是由其類邊界域的模糊性引起的.基于TRS的兩步分類法,第一步對測試樣本進(jìn)行下近似集分類,若無法判定則在第二步中使用基于上近似集的粗糙從屬函數(shù)進(jìn)行再次分類,此外對一些難以分類的樣本進(jìn)行拒絕。 5)使用HMM門限模型用于動態(tài)手勢時問域的分割,以區(qū)分孤立于勢、復(fù)雜手勢和干擾手勢.同時研究了基丁DTW和HM

5、M的動態(tài)手勢識別方法。 6)建立了一個結(jié)合人眼注視方向的于勢交互系統(tǒng)。應(yīng)用基于Adaboost算法的辦法,解決了人臉檢測與特征點(diǎn)定位問題,這是確定人眼注視方向的關(guān)鍵。 本文研究了手勢特征提取和于勢分類方法。利用膚色、運(yùn)動等信息對手勢進(jìn)行分割,提出了基于主動外觀模型和基于局部線性降維的手勢特征提取方法,實(shí)現(xiàn)了對手勢圖像的精確分割與特征提取。并應(yīng)用基于粗糙集理論的模糊粗糙最近鄰和容錯粗糙集算法對手勢進(jìn)行分類識別.另外,使用了

6、基于HMM的門限模型方法實(shí)現(xiàn)了對動態(tài)手勢的時間域分割.最后建立了一個結(jié)合人眼注視方向的非接觸式人機(jī)交互系統(tǒng)。 手勢分割是整個手勢識別分析的重要一步,其精確性直接影響系統(tǒng)的識別率.本文為建立一個在復(fù)雜背景下實(shí)時有效的手勢分割系統(tǒng),運(yùn)用了融合多種信息的方法實(shí)現(xiàn)手勢區(qū)域的分割。實(shí)驗(yàn)中手勢分割頻率為20幀/秒,滿足實(shí)時性的要求。 提出了基于主動外觀模型(AAM)的手勢特征提取方法,綜合了圖像中手勢的形狀信息和灰度信息,利用所建立

7、的AAM有效地描述未知的輸入手勢圖像,實(shí)現(xiàn)由模型生成的合成圖像與輸入圖像的誤差最小化,從而實(shí)現(xiàn)對手勢的精確分割與特征提取.對于2D灰度圖像,提出了基于局部線性插值(LLE)特征降維的特征選取方法.該算法將2D灰度圖像本身認(rèn)為是高維特征向量空間的點(diǎn),并具有k個鄰域點(diǎn),利用鄰域點(diǎn)的線性組合重構(gòu)該點(diǎn)并提取重構(gòu)權(quán)值,由高維向量的重構(gòu)權(quán)值計算其低維插值坐標(biāo),從而在低維空間中保持了原高維空問的局部幾何特征,達(dá)到非線性降維的日的,實(shí)現(xiàn)對有效手勢特征的

8、選擇。 在手勢識別過程中,由于不同類手勢數(shù)據(jù)中存在著相似性,即輸入樣本存在著一定的模糊粗糙不確定性,以及圖像邊界域具有非明確(粗糙)關(guān)系。因此,提出了改進(jìn)的模糊粗糙近鄰分類算法和基于容錯粗糙集的二步分類算法,并將其應(yīng)用到手勢分類中,實(shí)驗(yàn)表明其分類效果較為理想。 在動態(tài)手勢識別中,手勢的時間域上的分割是一個難點(diǎn)問題.本文使用了一種使參考閾值能隨著測試樣本及模型樣本動態(tài)變化的門限模型,用于區(qū)分孤立手勢、復(fù)雜手勢以及干擾手勢,