基于視覺的手勢輸入法研究與實現(xiàn).pdf

1、隨著計算機應用技術的不斷發(fā)展,傳統(tǒng)的采用鼠標、鍵盤或觸摸屏幕作為交互手段的人機交互技術已不能完全滿足人們當前的需求,而以自然語言、手勢語言和面部表情語言為代表的多模式智能型人機交互技術在計算機研究領域變得愈發(fā)重要。手勢輸入作為一種新的智能型人機交互技術,主要涉及圖像處理、模式識別、概率統(tǒng)計學和計算機視覺等領域。由于人手是復雜變形體,手勢表達靈活多變,不同手勢之間具有較高相似性,以及手勢序列在時間域和空間域內(nèi)具有極大差異性等特點,使得手勢

2、輸入成為一個極富挑戰(zhàn)性的多學科交叉研究課題。本文可分為兩方面內(nèi)容:設計與實現(xiàn)基于雙目視覺的手勢識別;利用已定義手勢和識別結果調(diào)用輸入法實現(xiàn)中英文輸入。手勢識別與輸入法的結合應用,在國內(nèi)外尚屬首例,已于2011年11月申報國家發(fā)明專利《基于計算機視覺的手勢輸入法構建方法及系統(tǒng)》,專利申請?zhí)?011103459148。
　　本文設計實現(xiàn)了基于視覺的手勢輸入法系統(tǒng),該系統(tǒng)可實時完成左右手手勢識別,并通過識別結果實現(xiàn)中英文輸入。左右手交替

3、輸入使得輸入法具有更高的輸入效率和更好的用戶體驗。本系統(tǒng)包括以下四個處理環(huán)節(jié):首先,手勢關鍵幀序列提取。提取流程:設置異步緩沖模型大小,將攝像頭捕捉到的手勢視頻流轉換成手勢圖像幀并按時間先后順序存入緩沖模型,對模型中圖像幀進行相鄰幀聚類,得到手勢關鍵幀序列。其次,手勢關鍵幀圖像預處理。根據(jù)人體膚色特征定位并分割手勢區(qū)域,對分割得到的手勢區(qū)域幀進行二值化、圖像增強和平滑濾波處理,之后利用拉普拉斯邊緣提取算法獲得手勢輪廓。再次,手勢關鍵幀特

4、征提取,本文選取由手勢區(qū)域幾何特征,Hu不變矩特征,傅里葉描述子和Zernike矩聯(lián)合向量作為手勢特征向量。最后,手勢識別及手勢輸入法。系統(tǒng)最終采用BP神經(jīng)網(wǎng)絡分類算法標定手勢關鍵幀,根據(jù)識別結果控制輸入法信息輸入,通過實驗測試,本系統(tǒng)可以利用手勢實現(xiàn)中英文的輸入、刪除和修改操作。本文手勢模板庫共包括26個字母手勢和7個控制手勢,字母手勢可實現(xiàn)信息輸入工作,控制手勢可實現(xiàn)輸入法啟動,暫停及輸入信息的刪除和修改工作。系統(tǒng)共完成33個手勢的