基于條件隨機(jī)場的中國手語識別.pdf

1、手語識別具有很重要的意義，例如可以為健康人和聾啞人搭建正常交流的平臺，可以為人機(jī)交互提供另一種可行方案，等等。手語識別應(yīng)用的手勢捕獲設(shè)備主要有數(shù)據(jù)手套、計(jì)算機(jī)視覺、表面肌電和加速計(jì)等傳感設(shè)備。其中，基于肌電和加速度信號的手語識別技術(shù)具有便攜、經(jīng)濟(jì)與高效的特點(diǎn)，是中科大神經(jīng)肌肉控制實(shí)驗(yàn)室近年來的重點(diǎn)研究方向。
　　 本課題研究圍繞基于肌電和加速度的手語識別技術(shù)而展開。在模式識別的一般流程中，分類器的設(shè)計(jì)至關(guān)重要。2001年Laff

2、erty提出的條件隨機(jī)場模型，由于其具有剔除觀測序列獨(dú)立性、特征函數(shù)選擇靈活性和條件概率建模全局性的三大理論特性，被廣泛的運(yùn)用與各類領(lǐng)域的模式識別中。本課題擬將條件隨機(jī)場模型(Conditional Random Fields，CRF)引入基于肌電和加速度的中國手語識別中，對其應(yīng)用的可行性及有效性進(jìn)行了系統(tǒng)的研究其主要研究內(nèi)容及成果如下:
　　 (1)介紹了中國手語詞的完整識別方案。具體包括:首先，對連續(xù)手語句子信號進(jìn)行預(yù)處理，

3、并利用移動(dòng)平均法進(jìn)行活動(dòng)段分割;其次，對手語詞的肌電信號進(jìn)行分幀與特征提取，對加速度信號進(jìn)行降采樣處理;再次，對特征進(jìn)行基于決策樹的預(yù)分類;最后，從較小的子集空間中，選擇底層分類器完成最終的識別。
　　 (2)對條件隨機(jī)場及其分支的理論框架進(jìn)行了剖析。充分分析了條件隨機(jī)場各分支的拓?fù)浣Y(jié)構(gòu)差異，指出其分別適用于不同的手語識別任務(wù)。分析了各種不同分支的條件概率計(jì)算方法，訓(xùn)練階段所遵循的準(zhǔn)則函數(shù)等，為手語詞和連續(xù)手語識別提供理論基礎(chǔ)。

4、
　　 (3)實(shí)現(xiàn)了基于隱條件隨機(jī)場(Hidden Conditional Random Fields，HCRF)的手語詞識別。介紹了代表模型結(jié)構(gòu)的特征函數(shù)的選取、簡單模型預(yù)訓(xùn)練、參數(shù)轉(zhuǎn)換的參數(shù)的初始化及更新算法。在選取了最佳模型基本參數(shù)和模型結(jié)構(gòu)后，采用HCRF對120類手語詞得到了91.51％的平均識別率，驗(yàn)證了其運(yùn)用于手語詞識別的可行性及有效性。
　　 (4)探索了基于潛在動(dòng)態(tài)條件隨機(jī)場(Latent Dynami