基于WebRTC的殘疾人鼠標研究及應(yīng)用.pdf

1、基于視覺的手勢識別是當前人機交互研究中的一個重點和熱點。本文總結(jié)了典型視覺手勢識別即包括圖像采集、圖像預(yù)處理、手勢分割、手勢建模、特征提取和分類識別數(shù)個步驟的工作流程，詳細比較其中手勢識別步驟所使用的基于靜態(tài)手形結(jié)構(gòu)信息和基于動態(tài)手勢運動軌跡的識別算法的異同。本文主要針對單目視覺下的實時殘疾人手勢識別進行了研究，單目視覺即利用計算機的單個攝像頭對手勢信息進行獲取以供處理和研究。
　　 本文將傳統(tǒng)的視覺手勢識別應(yīng)用到殘疾人人機交互

2、中，基于手勢識別和WebRTC框架提出了殘疾人鼠標系統(tǒng)的設(shè)想。系統(tǒng)采用B/S架構(gòu)，將圖像獲取、命令執(zhí)行和圖像匹配分離，瀏覽器只負責圖像獲取和鼠標操作的模擬，服務(wù)器端完成對客戶端瀏覽器透明的圖像匹配和命令反饋。引入HTML5中的新特性WebRTC和WebSocket使得可以瀏覽器獲取殘疾人可控物體圖像和并向服務(wù)器端提交。B/S架構(gòu)的設(shè)計使得系統(tǒng)可以構(gòu)建于云環(huán)境并具有良好的擴展性、伸縮性和可定制性。
　　 在服務(wù)器端手勢識別模塊的實

3、現(xiàn)上，本文先后提出了基于靜態(tài)手勢識別和基于動態(tài)手勢跟蹤的兩種圖像匹配算法:
　　 基于靜態(tài)手勢識別的算法中使用形狀比例和轉(zhuǎn)角函數(shù)等進行特征抽取，使用背景差分和歐式距離進行圖像匹配，在快速響應(yīng)的同時保證匹配的正確率。實驗表明此算法已經(jīng)達到我們初期的設(shè)計目的，具有可接受的延遲，但是可能出現(xiàn)可控物體自身形態(tài)結(jié)構(gòu)特征區(qū)分度不夠的問題。
　　 基于動態(tài)手勢跟蹤的算法使用CamShift跟蹤可控物體，記錄可控物體運動軌跡，結(jié)合可控物