基于視覺(jué)的手語(yǔ)識(shí)別技術(shù)研究與實(shí)現(xiàn).pdf

1、聾啞人是社會(huì)的重要組成人群，手語(yǔ)是他們進(jìn)行交流的工具。隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，手語(yǔ)自動(dòng)識(shí)別技術(shù)也成為近年來(lái)的研究熱點(diǎn)之一。手語(yǔ)識(shí)別可以幫助聾啞人更好的生活，應(yīng)用前景廣泛，并且具有很高的學(xué)術(shù)研究?jī)r(jià)值。
　　常見(jiàn)的手語(yǔ)識(shí)別技術(shù)分為基于數(shù)據(jù)手套和基于視覺(jué)兩種方法，基于視覺(jué)的手語(yǔ)識(shí)別技術(shù)更符合“和諧人機(jī)交互”的理念，是未來(lái)的發(fā)展方向。本文在國(guó)內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，提出一種對(duì)徒手手語(yǔ)手勢(shì)進(jìn)行檢測(cè)、跟蹤、識(shí)別的方法。具體而言，本文主要

2、研究工作如下。
　　提出一種手掌手勢(shì)檢測(cè)算法:制作和選取200張手掌手勢(shì)正樣本圖像、1000張負(fù)樣本圖像，利用Haar特征和Adaboost算法，訓(xùn)練出手掌手勢(shì)分類器。實(shí)現(xiàn)了單高斯膚色模型和Otsu二值化算法，對(duì)手掌手勢(shì)分類器檢測(cè)出的手掌候選區(qū)域進(jìn)行過(guò)濾。此算法可以準(zhǔn)確的定位手掌手勢(shì)。
　　分析了傳統(tǒng)Camshfit算法的缺點(diǎn):1）半自動(dòng)化;2）無(wú)預(yù)測(cè)機(jī)制，易受到干擾而丟失跟蹤目標(biāo);3）只能進(jìn)行單目標(biāo)跟蹤。針對(duì)此缺點(diǎn)，提出了

3、改進(jìn)的手勢(shì)跟蹤算法:1）檢測(cè)手掌手勢(shì)的結(jié)果作為Camshift算法的初始輸入，代替手動(dòng)選取跟蹤目標(biāo)，從而實(shí)現(xiàn)徒手手勢(shì)全自動(dòng)跟蹤，解決Camshfit算法的半自動(dòng)問(wèn)題;2）在Camshift跟蹤過(guò)程中加入Kalma濾波器，對(duì)手勢(shì)的位置進(jìn)行預(yù)測(cè)，防止手勢(shì)在運(yùn)動(dòng)速度過(guò)快、受到大面積相似背景顏色干擾時(shí)易丟失跟蹤目標(biāo)問(wèn)題;3）利用面向?qū)ο蟮乃枷耄庋bCamshfit算法和Kalman濾波器算法，分別為雙手手勢(shì)建立類對(duì)象，從而對(duì)雙手進(jìn)行獨(dú)立跟蹤，解

4、決Camshift只能進(jìn)行單目標(biāo)跟蹤的問(wèn)題。
　　提出一種手勢(shì)特征提取的方法，包括擬合橢圓整體特征和邊緣方向直方圖細(xì)節(jié)特征。擬合橢圓整體特征包括手勢(shì)橢圓的重心位置、長(zhǎng)短軸及旋轉(zhuǎn)角度，其中重心坐標(biāo)是以人臉中心點(diǎn)坐標(biāo)為基準(zhǔn)的相對(duì)坐標(biāo)，防止非特定人對(duì)特征提取產(chǎn)生影響。邊緣方向直方圖細(xì)節(jié)特征是通過(guò)Canny算子計(jì)算手勢(shì)圖像的邊緣，求出每個(gè)邊緣點(diǎn)的正切方向角度，在[-π/2,π/2]的角度空間統(tǒng)計(jì)組數(shù)為8的直方圖。將兩種特征歸一化，組成13