基于RGB-D攝像機的人體動作識別的研究.pdf

1、人體動作識別是多媒體分析領(lǐng)域的一個重要課題，近年來被廣泛應(yīng)用于人機交互、智能視頻監(jiān)控和虛擬現(xiàn)實等方面。本文結(jié)合西工大研究生創(chuàng)業(yè)種子基金“基于Kinect的手勢識別系統(tǒng)”，針對人體動作識別中的手指以及四肢識別跟蹤問題，基于RGB-D攝像機數(shù)據(jù)流，研究了指尖和四肢的檢測、標(biāo)注以及深度跟蹤等技術(shù)問題，解決了人體動作識別中手指運動跟蹤問題、人體四肢運動跟蹤問題，實現(xiàn)了桌面上的虛擬鋼琴彈奏的手勢識別以及仰臥位人體姿態(tài)識別兩種典型算法。論文的主要研

2、究內(nèi)容以及成果如下：
　　1、分析了手指識別的現(xiàn)有方法以及應(yīng)用范圍，并以此為基礎(chǔ)研究了白色桌面上手指的指尖檢測與標(biāo)注。主要包括利用皮膚橢圓模型檢測手部區(qū)域，使用基于手輪廓的凸缺陷檢測指尖位置，利用手部的生理構(gòu)造以及幾何模型進行雙手指尖標(biāo)注。完成了基于C++的指尖標(biāo)注跟蹤軟件，實現(xiàn)了桌面上手指的運動跟蹤。
　　2、為了減小由于外界環(huán)境干擾而造成的指尖深度值的波動噪聲，在手指運動跟蹤過程中，采用滑動窗口策略獲得穩(wěn)定的指尖深度信息

3、。實驗表明，增加滑動窗能有效減小深度值的不穩(wěn)定性，使本文的指尖跟蹤系統(tǒng)具有較強的魯棒性和抗干擾能力。
　　3、在RGB-D攝像機人體骨骼信息追蹤的基礎(chǔ)上，根據(jù)深度信息進行人體區(qū)域的檢測，解決了仰臥位人體識別中背景信息被誤識別為人體的一部分而造成的人體位置信息不準(zhǔn)確的問題，實現(xiàn)了人體的準(zhǔn)確定位，為人體四肢跟蹤提供了可靠的數(shù)據(jù)。
　　4、研究了人體四肢檢測的算法，包括人體骨架構(gòu)造、人體腿部檢測以及人體上肢的檢測。首先細化人體輪廓

4、得到人體骨架，然后根據(jù)人體骨架構(gòu)造得到人體腿部。實驗表明，該算法可以給出仰臥位狀態(tài)下人體四肢的準(zhǔn)確位置。
　　5、設(shè)計了融合四肢深度信息、提高四肢標(biāo)注準(zhǔn)確性的方案。使用深度信息有效地解決了當(dāng)兩腳與攝像機位于一條直線上時由于遮擋而出現(xiàn)腿部標(biāo)注誤交換的問題，使四肢標(biāo)注跟蹤的準(zhǔn)確度得到很好的提高。
　　本文基于RGB-D攝像機數(shù)據(jù)流，通過四肢以及手指的檢測、深度跟蹤等關(guān)鍵技術(shù)，開發(fā)了人體動作識別中手勢識別以及仰臥位人體姿態(tài)識別系統(tǒng)