基于視覺(jué)信息的手勢(shì)識(shí)別算法與模型研究.pdf

1、基于視覺(jué)信息的手勢(shì)識(shí)別是指基于手勢(shì)的圖像或視頻信息，由計(jì)算機(jī)利用模式識(shí)別技術(shù)獲取手勢(shì)的類別或語(yǔ)義的方法。由于手勢(shì)具有多樣性、多義性、復(fù)雜變形性、時(shí)空差異性等特點(diǎn)，基于視覺(jué)的手勢(shì)識(shí)別一直是計(jì)算機(jī)視覺(jué)領(lǐng)域非?；钴S和富有挑戰(zhàn)性的研究課題，同時(shí)也是新一代人機(jī)交互技術(shù)中的熱點(diǎn)問(wèn)題之一，受到了國(guó)內(nèi)外研究人員的廣泛關(guān)注。本文在分析與總結(jié)國(guó)內(nèi)外相關(guān)研究的基礎(chǔ)上，針對(duì)基于視覺(jué)信息的手勢(shì)識(shí)別算法與模型進(jìn)行了深入系統(tǒng)性的研究，主要研究?jī)?nèi)容和成果體現(xiàn)在以下幾個(gè)

2、方面:
　　研究了基于統(tǒng)計(jì)膚色模型的手勢(shì)分割方法，對(duì)不同膚色在不同光照條件下在RGB、HSV、YCbCr色彩空間下的聚類效果進(jìn)行對(duì)比分析，并在YCbCr色彩空間的基礎(chǔ)上提出了針對(duì)特定成像設(shè)備在非線性轉(zhuǎn)換后的YCb'Cr'空間上的橢圓膚色模型，排除了部分光照影響，并使檢測(cè)更加準(zhǔn)確快速。
　　研究了靜態(tài)手勢(shì)輪廓特征提取方法，提出了基于GVF snake模型與膚色模型融合的手勢(shì)輪廓特征提取方法，算法利用橢圓膚色模型快速檢測(cè)出手部區(qū)

3、域輪廓作為GVF Snake模型搜索的初始輪廓曲線，為GVF Snake模型提供了較準(zhǔn)確的初始輪廓曲線，改善了GVF snake模型的檢測(cè)效果，并結(jié)合圖像分塊的思想在經(jīng)膚色模型檢測(cè)出的手勢(shì)區(qū)域上進(jìn)行運(yùn)算，有效減少了計(jì)算量。
　　研究了動(dòng)態(tài)手勢(shì)檢測(cè)方法，針對(duì)基于貝葉斯準(zhǔn)則背景差分法的動(dòng)態(tài)手勢(shì)檢測(cè)算法存在干擾區(qū)域多、計(jì)算時(shí)間較長(zhǎng)的問(wèn)題，提出了基于局部背景更新和膚色模型融合的運(yùn)動(dòng)手勢(shì)檢測(cè)方法，在提高了檢測(cè)速度的同時(shí)仍能較好地檢測(cè)出運(yùn)動(dòng)手

4、勢(shì)的前景區(qū)域。該方法對(duì)環(huán)境的適應(yīng)性強(qiáng)，即使在復(fù)雜背景下仍能準(zhǔn)確檢測(cè)出運(yùn)動(dòng)手勢(shì)。
　　研究了基于歸一化傅里葉描述子與RBF神經(jīng)網(wǎng)絡(luò)的靜態(tài)手勢(shì)的識(shí)別方法。針對(duì)手臂區(qū)域的干擾問(wèn)題，提出了依據(jù)手部幾何形狀特性的手臂區(qū)域去除算法，該算法通過(guò)構(gòu)建膚色區(qū)域的最小外接矩形的方法搜索手腕位置，進(jìn)而有效去除了手臂區(qū)域的干擾。此外，該方法在構(gòu)建最小外接矩形時(shí)利用凸殼邊界信息尋找最小外接矩形，與傳統(tǒng)構(gòu)建方法相比，計(jì)算量顯著降低;研究了歸一化傅里葉描述子表

5、示手勢(shì)輪廓特征的方法，提出通過(guò)分析手勢(shì)輪廓的傅里葉描述子能量分布情況選擇描述子數(shù)目的方法;研究了以歸一化傅罩葉描述為特征通過(guò)RBF神經(jīng)網(wǎng)絡(luò)的靜念手勢(shì)識(shí)別方法，獲得了較理想的識(shí)別效果。
　　針對(duì)手勢(shì)跟蹤這一手勢(shì)識(shí)別中的難點(diǎn)和重點(diǎn)問(wèn)題，將具有計(jì)算量小、實(shí)時(shí)性好、無(wú)偏和最優(yōu)等特點(diǎn)的Kalman濾波器與本文膚色模型相結(jié)合，實(shí)現(xiàn)了快速的運(yùn)動(dòng)手部目標(biāo)的跟蹤。在kalman濾波器的參數(shù)設(shè)計(jì)方面，選擇了由膚色模型檢測(cè)出的手部運(yùn)動(dòng)區(qū)域的質(zhì)心位置、最

6、小面積外接矩形寬和高等幾何特征作為運(yùn)動(dòng)目標(biāo)的基本運(yùn)動(dòng)參數(shù)，并提出了手勢(shì)運(yùn)動(dòng)目標(biāo)的空間結(jié)構(gòu)特征和基于Bhattacharyya系數(shù)的膚色概率特征相結(jié)合的匹配算法，保證了目標(biāo)匹配的準(zhǔn)確性。實(shí)驗(yàn)表明本文方法提高了手勢(shì)跟蹤算法的效率和魯棒性，并能較好地處理手勢(shì)在運(yùn)動(dòng)過(guò)程中出現(xiàn)的手形變化、軌跡變化等情況。
　　在動(dòng)態(tài)手勢(shì)識(shí)別中，針對(duì)膚色模型可能出現(xiàn)的誤檢情況，提出了基于運(yùn)動(dòng)信息和標(biāo)簽法的非手勢(shì)膚色區(qū)域干擾去除方法;針對(duì)手勢(shì)軌跡分割的不確定性

7、問(wèn)題，提出了基于預(yù)設(shè)檢測(cè)區(qū)域動(dòng)態(tài)手勢(shì)起止位置的分割方法，并采用三次樣條插值算法對(duì)手勢(shì)的運(yùn)動(dòng)軌跡插值得到手勢(shì)的光滑運(yùn)動(dòng)曲線;針對(duì)手勢(shì)運(yùn)動(dòng)軌跡的時(shí)空差異性問(wèn)題，提出了利用位置歸一化和相鄰軌跡點(diǎn)之間角度來(lái)表示運(yùn)動(dòng)軌跡特征的方法;提出了通過(guò)相鄰軌跡點(diǎn)之間的距離計(jì)算手勢(shì)序列的關(guān)鍵幀方法，并通過(guò)計(jì)算關(guān)鍵幀手勢(shì)輪廓的傅里葉描述子來(lái)識(shí)別關(guān)鍵幀手勢(shì)類型;提出了采用軌跡點(diǎn)的歸一化坐標(biāo)、該軌跡點(diǎn)與前一軌跡點(diǎn)的角度、該軌跡點(diǎn)所處關(guān)鍵幀手勢(shì)類型來(lái)構(gòu)成手勢(shì)序列的特