Webcam Based Hand Gesture Recognition System for Static Image.pdf

1、網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)自20世紀(jì)90年代以來(lái)，隨著科技日新月異的發(fā)展，通過(guò)計(jì)算機(jī)和互聯(lián)網(wǎng)來(lái)存儲(chǔ)、修改、復(fù)制和傳輸?shù)臄?shù)字作品變得更加容易和頻繁。因此，近年來(lái)在人機(jī)交互(HCI)領(lǐng)域的應(yīng)用需求和研究興趣在不斷的提高。它已經(jīng)發(fā)展從傳統(tǒng)的鍵盤輸入到和鼠標(biāo)的結(jié)合，然后再到觸摸板和觸摸屏。
　　 現(xiàn)在是時(shí)候制定一個(gè)更便捷的方式與電腦互動(dòng)。有很多部門在開(kāi)發(fā)和應(yīng)用與計(jì)算機(jī)系統(tǒng)的無(wú)縫通信方式。無(wú)論是游戲或日常個(gè)人生活使用中，人類與電腦的互動(dòng)是通過(guò)相關(guān)的

2、應(yīng)用程序來(lái)獲取傳感器或相機(jī)跟蹤到的人體的相應(yīng)的運(yùn)動(dòng)，包括人的手勢(shì)，眼球運(yùn)動(dòng)，面部表情或者任何身體其他部位的運(yùn)動(dòng)。相比其他的交互方式，手勢(shì)可能會(huì)更加自然和直觀的與計(jì)算機(jī)系統(tǒng)。
　　 計(jì)算機(jī)視覺(jué)領(lǐng)域關(guān)注通過(guò)攝像頭或紅外信號(hào)檢測(cè)來(lái)使計(jì)算機(jī)能夠理解和識(shí)別物體。它將從圖片收集信息，運(yùn)用不同的復(fù)雜的數(shù)學(xué)公式和算法來(lái)分析和理解，然后進(jìn)一步處理以獲取信息。以前的計(jì)算機(jī)不能感知外界的信息，但是，現(xiàn)在的電腦可以通過(guò)攝像頭或者傳感器來(lái)感知到。它們像人

3、類一樣具有一個(gè)“眼睛”看到外部環(huán)境。更關(guān)鍵的是，他們需要一個(gè)先進(jìn)的圖像處理方法來(lái)加載圖像和進(jìn)一步理解它們所“看到”的信息。
　　 手勢(shì)是指人類用手掌和手指位置、形狀的表達(dá)特定語(yǔ)言的系統(tǒng)。人類手勢(shì)識(shí)別可以作為計(jì)算機(jī)系統(tǒng)的輸入來(lái)操控游戲，給系統(tǒng)做一些操作指令命令或聾人手語(yǔ)翻譯，這些人的交流的唯一語(yǔ)言是手勢(shì)和一些面部表情。這一領(lǐng)域中已經(jīng)有很多專業(yè)人士和研究人員在此領(lǐng)域努力增加一些價(jià)值。已經(jīng)有幾個(gè)算法進(jìn)入這個(gè)領(lǐng)域，但這些研究人員發(fā)現(xiàn)和推

4、薦的方法都有自己的局限性。包括無(wú)法完全的消除背景、無(wú)法檢測(cè)不同的皮膚顏色，甚至無(wú)法區(qū)分在不同的照明環(huán)境下相同的皮膚顏色。一般來(lái)說(shuō)，圖片是像素的集合，視頻是多張連續(xù)圖片集合的連接。
　　 在這篇論文中，一個(gè)健壯的手勢(shì)識(shí)別系統(tǒng)將被描述和證明其優(yōu)勢(shì)。這個(gè)基于攝像頭的手勢(shì)識(shí)別系統(tǒng)，通過(guò)使用許多計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)將更好的實(shí)現(xiàn)人機(jī)交互方式或手語(yǔ)翻譯。通過(guò)計(jì)算幾何計(jì)算和實(shí)時(shí)跟蹤，它能正確地檢測(cè)到手指和手掌的位置。由于它是使用C++編程和

5、開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)（openCV的），所以它運(yùn)行速度快，并且具有少的CPU運(yùn)行時(shí)間。(
　　 )這個(gè)優(yōu)勢(shì)使得它更優(yōu)選優(yōu)于眾多的其他圖像處理工具。我們選擇了一個(gè)有效的方法從輸入視頻幀識(shí)別到手勢(shì)，同時(shí)消除噪音。
　　 噪聲消除和燈光效果是圖像處理中識(shí)別物體在的主要問(wèn)題。所以本文采用稱為碼書的方法實(shí)施背景減法技術(shù)，同時(shí)也為易用性和完美的轉(zhuǎn)換，輸入的RGB圖像轉(zhuǎn)換到另一個(gè)色彩空間和其他的圖像處理算法如凸包、凸性缺陷得以實(shí)施。一張彩

6、色圖像總是由三個(gè)渠道。代表三種顏色，即紅色，綠色和藍(lán)色。它的對(duì)比度和亮度的調(diào)整是通過(guò)從原始圖像的每一個(gè)像素的增加或減去某個(gè)常數(shù)。
　　 該系統(tǒng)將使用普通低端攝像頭輸入幀包含了一個(gè)人作出的即時(shí)手勢(shì)姿態(tài)。而得到的幀將被存儲(chǔ)在一個(gè)臨時(shí)存儲(chǔ)器中，并在這個(gè)視頻幀上應(yīng)用一些圖像處理技術(shù)，如擴(kuò)張、侵蝕和背景減法。
　　 該系統(tǒng)從攝像頭捕獲的連續(xù)幀中跟蹤的手指和手掌的位置來(lái)進(jìn)行手勢(shì)識(shí)別，并且輸入的RGB彩色圖像變換到其他顏色空間，即YC

7、bCr圖像，并進(jìn)一步加工成最終的僅包含兩種顏色值（白色和黑色）終的二進(jìn)制圖像來(lái)識(shí)別手勢(shì)。白色部分表示手，黑色部分代表背景區(qū)域。這是在幀上應(yīng)用侵蝕，消除噪聲和平滑使用擴(kuò)張技術(shù)。得到圖像中的一個(gè)或多個(gè)輪廓的技術(shù)稱為輪廓查找方法找到最大的輪廓，在這里本文可以能夠顯示的精確形狀的手。
　　 在第三章中，詳細(xì)介紹了本文使用的圖像處理技術(shù)和方法。在第四章中討論了一些實(shí)驗(yàn)結(jié)果。仿真結(jié)果清楚地表明，該系統(tǒng)能夠從圖像中消除噪聲，減去不必要的背景，

8、并清楚地顯示前景。即使一個(gè)復(fù)雜的數(shù)學(xué)運(yùn)算，改變圖像像素算法可能需要更多的CPU的資源，因?yàn)殚_(kāi)發(fā)工具運(yùn)行速度快的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果表明，從攝像頭采用該方法能夠?qū)崟r(shí)的進(jìn)行手勢(shì)識(shí)別，沒(méi)有任何延遲。
　　 本文在不同的使用場(chǎng)景也驗(yàn)證了該手勢(shì)識(shí)別系統(tǒng)以確保系統(tǒng)正常運(yùn)行。驗(yàn)證表明，手和手臂的傾斜、手掌和手臂的旋轉(zhuǎn)和手指被折疊時(shí)，系統(tǒng)都能正常工作。
　　 在本系統(tǒng)中提出的手勢(shì)識(shí)別接口可以適用于手語(yǔ)翻譯，玩虛擬游戲，電視或音樂(lè)播放器的遙控的