基于智能信息處理的多模態(tài)集成方法研究.pdf

1、人機交互界面的研究旨在為用戶提供一種高效的人機通信方式，近年來隨著計算機軟、硬件的發(fā)展以及因特網(wǎng)的異軍突起，傳統(tǒng)的圖形用戶界面面臨著新的挑戰(zhàn)，而多模態(tài)人機交互界面就隨之產(chǎn)生了。多模態(tài)用戶界面允許用戶使用多個交互通道以并行、非精確的方式與計算機系統(tǒng)進行交互，從而提高人機交互的自然性和高效性。作為人機交互的一種新范式，多模態(tài)人機交互界面與傳統(tǒng)的圖形用戶界面相比，能將互補的模態(tài)進行集成來獲取增強的信息，模態(tài)之間可以相互補充，克服彼此的缺陷，或

2、者是針對不同的應用采取不同的交互方式，可以大大提高系統(tǒng)的魯棒性和靈活性。 多模態(tài)人機交互界面旨在充分利用一個以上的感覺和動作通道來捕捉用戶的意向，提高人機交互的自然性和高效性，其核心問題就是模態(tài)集成的問題，通過將多種輸入模態(tài)，如語音、手勢、筆劃、…集成到一起，具有更強大的表達能力、自然性、靈活性和便攜性，使人機交互方式向人與人交互方式靠攏。 論文主要闡述了多模態(tài)用戶界面研究中所涉及到的關鍵性問題—多種模態(tài)的集成問題，介紹