基于Kinect的孤立詞手語(yǔ)識(shí)別系統(tǒng)研究.pdf

1、手語(yǔ)識(shí)別是通過(guò)計(jì)算機(jī)技術(shù)識(shí)別翻譯出手語(yǔ)動(dòng)作的過(guò)程，是人機(jī)交互領(lǐng)域的一項(xiàng)重要研究分支。聾啞人與正常人間所存在的溝通交流障礙的現(xiàn)狀以及對(duì)人機(jī)交互方式的自然性和便捷性的越來(lái)越高的要求，研究手語(yǔ)識(shí)別技術(shù)并將它應(yīng)用到現(xiàn)實(shí)中顯得日益重要。聾啞人交流中使用的連續(xù)手語(yǔ)句子由孤立手語(yǔ)詞組成，研究孤立詞手語(yǔ)識(shí)別是構(gòu)建連續(xù)語(yǔ)句手語(yǔ)識(shí)別系統(tǒng)的基礎(chǔ)和前提，具有重要的研究?jī)r(jià)值。
　　體感設(shè)備Kinect能夠輸出彩色圖像和深度圖像并捕獲人體各關(guān)節(jié)運(yùn)動(dòng)，相比傳統(tǒng)

2、的手語(yǔ)數(shù)據(jù)采集裝置更具優(yōu)勢(shì)。本文在以Kinect為輸入的基礎(chǔ)上對(duì)孤立詞手語(yǔ)識(shí)別進(jìn)行了研究，并實(shí)現(xiàn)孤立詞手語(yǔ)識(shí)別系統(tǒng)。本文的主要研究?jī)?nèi)容包括:
　　1.區(qū)分性手語(yǔ)特征量提取。通過(guò)分析Kinect原始骨骼跟蹤信息和彩色圖像信息，設(shè)計(jì)出包含軌跡特征和手形特征的手語(yǔ)特征量，軌跡特征為原始軌跡點(diǎn)經(jīng)過(guò)速度、尺度和位置歸一化得到，手形特征包括灰度、SURF(Speed-Up RobustFeatures)和HOG(Histogram Of Gr

3、adients)特征。
　　2.本文引入?yún)^(qū)分性字典學(xué)習(xí)和稀疏表示的識(shí)別算法并將其應(yīng)用在孤立詞手語(yǔ)識(shí)別中，在此基礎(chǔ)上提出一種基于聯(lián)合字典的改進(jìn)的分類(lèi)算法，該分類(lèi)算法能充分利用已訓(xùn)練出聯(lián)合字典中的區(qū)分性信息，提高分類(lèi)正確率。
　　3.孤立詞手語(yǔ)識(shí)別系統(tǒng)。本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)實(shí)時(shí)有效的孤立詞手語(yǔ)識(shí)別系統(tǒng)，該識(shí)別系統(tǒng)在論文所采集的72個(gè)孤立手語(yǔ)詞數(shù)據(jù)集上平均識(shí)別準(zhǔn)確率為98.61％。
　　文章設(shè)計(jì)了一系列實(shí)驗(yàn)用于驗(yàn)證手語(yǔ)特征量和