融合手勢與語音的多通道標(biāo)繪交互技術(shù)研究.pdf

1、隨著多媒體技術(shù)和虛擬現(xiàn)實技術(shù)的發(fā)展，人機環(huán)境中信息的輸出形式更加豐富，同時也使用戶所要面對的交互對象和交互內(nèi)容變得更加復(fù)雜，傳統(tǒng)的交互方式無法達到和諧、自然與人性化的交互要求。在軍事應(yīng)用領(lǐng)域，計算機輔助標(biāo)繪是是一個典型需求，亟需研究其他交互方式來提高標(biāo)繪交互自然性。
　　本文融合手勢與語音識別技術(shù)，對書空手勢指令進行定義和識別，構(gòu)建語音交互任務(wù)詞匯的狀態(tài)轉(zhuǎn)移矩陣，采用任務(wù)制導(dǎo)的方式整合不同通道的交互信息，提出了基于任務(wù)槽結(jié)構(gòu)的多通

2、道整合模型，對交互任務(wù)和操作進行分析和設(shè)計，最后對交互任務(wù)進行綜合實驗。本文的主要工作和創(chuàng)新點有：
　　一、提出了一種基于方向鏈碼的書空手勢識別算法，實現(xiàn)空間手勢識別。采用LeapMotion進行自定義的手勢識別和匹配，通過自定義手勢指令，對其自身有限的手勢識別指令進行擴充。為了消除手勢輸入過程中的不穩(wěn)定性而導(dǎo)致的噪聲干擾，對手勢軌跡進行分段處理，由分段的比重確定主要移動方向描述輸入手勢，根據(jù)手勢的相同分段對輸入手勢與模板手勢通過

3、順序匹配算法進行匹配。
　　二、在語音命令識別的基礎(chǔ)上，提出了基于命令轉(zhuǎn)移概率的語音任務(wù)組織方法，輔助語音命令識別和組織。根據(jù)語法規(guī)則和語義對交互任務(wù)語音詞匯進行分類，剔除語音交互任務(wù)中任務(wù)動作的生僻詞。通過場景語義上下文分析，確定當(dāng)前場景中的交互對象及交互任務(wù)，采用馬爾可夫狀態(tài)轉(zhuǎn)移概率矩陣分析詞匯間的連接關(guān)系，排除異常輸入的關(guān)鍵詞，使系統(tǒng)能正確地理解用戶的語音交互意圖。
　　三、提出了基于對象屬性的多通道任務(wù)槽結(jié)構(gòu)整合模型