基于多傳感技術(shù)相融合的手勢交互系統(tǒng)研究.pdf

1、手是人類最靈活的肢體之一，而手勢是最豐富最具有表現(xiàn)能力的肢體語言。近年來增強(qiáng)現(xiàn)實、體感游戲等計算機(jī)應(yīng)用飛速發(fā)展，基于鼠標(biāo)鍵盤等傳統(tǒng)人機(jī)交互系統(tǒng)存在用戶使用區(qū)域固定、交互空間二維等限制，無法滿足新應(yīng)用的需要，而手勢沒有這些限制，以其靈活直觀的特點，被認(rèn)為是虛擬環(huán)境與自然環(huán)境之間交互的最佳方式，成為新型人機(jī)交互領(lǐng)域中研究的熱點。
　　目前手勢識別主要通過圖像捕捉和傳感器采集兩種方式獲取手勢信息并加以識別。圖像捕捉方案容易受背景、光照等

2、環(huán)境因素影響，識別準(zhǔn)確性不高且對應(yīng)用環(huán)境要求苛刻，而傳感器采集方案對背景光照等環(huán)境要求不高，但存在機(jī)械電子噪聲、漂移等固有缺陷，識別效率和準(zhǔn)確性也不理想，且存在初始標(biāo)定、靜止/運動標(biāo)定、誤差隨時間累計等難點，因此，本文在詳細(xì)分析兩種手勢獲取及識別技術(shù)的特點基礎(chǔ)上，提出基于Kinect深度圖像、加速度信息及角速度信息相融合，實現(xiàn)高準(zhǔn)確度的手勢人機(jī)交互系統(tǒng)。主要研究內(nèi)容:
　　(1)采用Kinect2.0攝像機(jī)獲取用戶的深度圖像信息，

3、對該信息進(jìn)行灰度化、平滑、二值化等處理，有效濾除深度圖像中的背景及噪聲信息，基于此深度圖像信息并結(jié)合骨骼信息，利用預(yù)先手勢訓(xùn)練結(jié)果，實現(xiàn)預(yù)定義手勢識別。
　　(2)分析加速度和角速度傳感器誤差特點，針對原始采樣數(shù)據(jù)提出“疊窗平滑積分”預(yù)處理算法，并使用卡爾曼濾波算法進(jìn)行濾波，使用該方法有效降低加速度和角速度數(shù)據(jù)中的噪聲信息，提高了運動和姿態(tài)信息計算的準(zhǔn)確性。
　　(3)針對加速度數(shù)據(jù)計算位移信息存在誤差累計的缺點，本文用深度

4、圖像數(shù)據(jù)計算位移，用于修正加速度計算位移量算法，得到加速度數(shù)據(jù)計算位移信息的近似公式。通過Kinect攝像機(jī)和加速度傳感器有效融合，實現(xiàn)復(fù)雜場景的手部運動信息計算方法。
　　(4)針對角速度數(shù)據(jù)進(jìn)行姿態(tài)解算過程中存在初始狀態(tài)無法標(biāo)定、零點漂移等問題，提出了使用Kinect數(shù)據(jù)進(jìn)行初始狀態(tài)標(biāo)定和運動/靜止標(biāo)定、靜止?fàn)顟B(tài)下重力加速度姿態(tài)解算和角速度姿態(tài)解算相融合的手部姿態(tài)解算算法。
　　(5)設(shè)計出基于BLE（Bluetooth