基于Kinect的三維手語識別.pdf

1、手語是聾啞人和外界交流的主要途徑，對手語識別的研究有助于聽障群體與其他人進(jìn)行交流，并無障礙的享受社會提供的服務(wù)。
　　在對手語識別進(jìn)行研究的基礎(chǔ)上，我們也對手語識別相關(guān)的手部跟蹤和手型分割工作進(jìn)行了研究。對于所要解決的基于Kinect數(shù)據(jù)的手語識別問題，在研究了手部跟蹤和分割的工作后，不同于現(xiàn)有的HMM框架下的手語識別方法，接著提出一種基于軌跡和關(guān)鍵手型片段融合的手語識別方法。具體的工作如下：
　　首先針對RGB-D手語視頻

2、數(shù)據(jù)中手部形變較大及運(yùn)動過快的問題，提出融合手型、深度和位置三通道特征的手部跟蹤方法。結(jié)合人臉檢測功能，通過自動建立膚色模型來實(shí)現(xiàn)手部的自動檢測，以此來確定跟蹤目標(biāo)，然后利用手型、深度和位置三通道特征構(gòu)造目標(biāo)估計(jì)函數(shù)和優(yōu)化能量函數(shù)，實(shí)現(xiàn)雙手的跟蹤工作。在300個視頻44810幀中，手部的跟蹤成功率為91％。
　　然后根據(jù)手部所處的不同位置，把手的狀態(tài)主要劃分為雙手分開、雙手重合和手臉重合這三種存在情況。對于雙手分開的手型，我們利用

3、膚色和深度進(jìn)行分割；對于雙手在一起的手型，認(rèn)為此雙手作為一個整體，不再對左右手進(jìn)行單獨(dú)分割；對于手臉重疊的手型，從膚色和深度上已經(jīng)無法將手部和臉部區(qū)分開，可以利用手臉重疊前的臉部信息去剔除臉部的干擾，得到純凈的手型圖。
　　最后，由于手語的判別信息絕大部分集中在關(guān)鍵手型片段中，所以提出只需要全局軌跡和關(guān)鍵的手型片段進(jìn)行手語識別的方法。利用并行的HMM框架進(jìn)行軌跡識別和關(guān)鍵手型片段識別，然后在決策層進(jìn)行融合，在370個手語詞匯中，首