基于神經(jīng)網(wǎng)絡(luò)的中小詞匯量中國手語識別研究.pdf

1、手語，作為聾啞人群體的常用語言，在聾啞人與普通人間搭建了一座自由溝通的橋梁。然而，鑒于手語對普通人來說依舊晦澀難懂，兩個群體間的交流障礙仍然時常發(fā)生。如果能夠通過手語識別技術(shù)，將手語轉(zhuǎn)換為文字或者語音進行表達，將極大地便利聾啞人與普通人間的交流。同時，作為人機交互領(lǐng)域的一個不可或缺的分支，手語識別研究也在當(dāng)今這個智能時代顯得愈發(fā)重要。
　　數(shù)據(jù)獲取與處理、特征的設(shè)計以及識別模型的選擇是一個高效的手語識別算法所必須考慮的三個因素。微

2、軟的Kinect設(shè)備能夠方便經(jīng)濟地捕獲精確的顏色圖像、空間深度映射數(shù)據(jù)以及關(guān)節(jié)點坐標(biāo)，相較于傳統(tǒng)的數(shù)據(jù)手套或者二維攝像頭更具優(yōu)勢。因此，本文將以Kinect作為手語數(shù)據(jù)獲取設(shè)備，對手語識別中的手語特征設(shè)計與識別模型構(gòu)建進行研究，主要研究內(nèi)容包括:
　　1.依據(jù)手語詞匯的手形特點，設(shè)計了一種新型的手語特征手形(Specific Hand Shape，SHS)特征。本文通過分析中國手語詞匯的手形特點，提出了設(shè)計手語特征手形庫所需遵守的

3、的6條準(zhǔn)則與一種快速構(gòu)建中國手語特征手形數(shù)據(jù)庫的方法。依靠特征手形數(shù)據(jù)庫，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計了一種新型的SHS特征。該特征針對手語特征手形的分類正確率達99.59％，而傳統(tǒng)的方向梯度直方圖特征則只有94.35％,實驗結(jié)果顯示SHS特征對手語手形的表征效果更好。
　　2.依據(jù)長短時記憶(Long Short-Term Memory,LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)算法，提出一種基于LSTM編碼器-解碼器結(jié)構(gòu)的孤立詞手語識別算法，在80個手