現(xiàn)場表演驅動的動作匹配、編排與識別.pdf

1、感知用戶界面利用人類的感知能力以直觀自然的方式表達語義信息?；诂F(xiàn)場表演的人機交互技術是感知用戶界面的重要組成部分，允許用戶直接以自然的身體運動來控制應用程序。因其前所未有的革命性操控方式，引起了學者們的極大研究興趣，近年來逐漸成為計算機動畫、虛擬現(xiàn)實、視頻游戲等相關領域的一個研究熱點。本文的主要目的是針對該技術的關鍵問題展開研究，探索了運動索引構建、反應性動作生成、運動自適應、訓練樣本自動生成、自動特征提取、機器學習等核心算法。在此基

2、礎上，分別以Xsens運動傳感器、Wii游戲機手柄、5DT數據手套及諾基亞N95手機等為輸入設備，開發(fā)了PC和手機平臺上的多個原型應用系統(tǒng)，并通過一系列主、客觀實驗驗證了算法的有效性。
　　 具體來說，本文的主要研究工作包括以下幾個方面：
　　 1.基于運動感知的直觀運動檢索。在三維角色動畫制作過程中，如何直觀地表示檢索樣例是基于內容的運動檢索的一個關鍵問題。本文利用幾何特征為大規(guī)模運動數據庫建立了索引。在運動檢索時，用

3、戶佩戴運動傳感器大致表演構想的運動，系統(tǒng)通過一個由粗到細的檢索過程從后臺大規(guī)模運動數據庫中自動搜索出與之匹配的運動片段。本文不僅給動畫師們提供了一種直觀可視的交流溝通方式，而且能夠大大提高運動素材重用時的運動檢索效率。
　　 2.符合物理約束的交互式人體反應動作生成。為虛擬人生成反應性動作是虛擬現(xiàn)實和視頻游戲等三維圖形應用中的一個關鍵問題。本文介紹了一個基于物理約束的直觀虛擬人控制系統(tǒng)。當用戶作出交互動作時，系統(tǒng)首先根據用戶的示

4、范表演選擇一系列候選動作片段；然后通過物理約束對候選動作進行排序，最佳的動作片段被選中用以驅動虛擬人。為了使檢索得到動作更加完美地滿足虛擬世界的運動學和動力學約束，系統(tǒng)將實時地對其做進一步的編輯調整。
　　 3.運動傳感驅動的3D直觀手勢交互。為了使手勢交互方式較少受到場地和光線地限制，本章提出利用加速度傳感器作為輸入設備進行手勢識別的方法。對每種手勢只要求用戶做一次動作采樣，系統(tǒng)通過添加噪聲等手段來提高訓練數據生成的自動化程度

5、；訓練數據經過預處理和特征提取之后用于訓練機器學習模型。在包含70種手勢的測試集上進行識別實驗和可用性評估，結果表明該方法能夠顯著地提升人機交互中的用戶體驗。
　　 4.現(xiàn)場表演驅動的動作編排?，F(xiàn)場表演是一種直觀自然地展示動作編排者編排意圖的方法。本文開發(fā)了一個基于三軸加速傳感器的動作編排系統(tǒng)。首先，要求用戶在預先指定的身體部位放置加速傳感器并進行示范表演。然后，系統(tǒng)通過隱馬爾科夫模型識別用戶表演的動作，最后，系統(tǒng)通過運動時間調

6、整和夸張動作編輯等方法對識別出的動作進行調整，得到最終動畫序列。實驗結果表明本系統(tǒng)對初學者來說簡單易用，可以有效地識別時空差異性較大的動作。
　　 5.基于層次化機器學習模型的手語識別。手語本質上是按照一定規(guī)則表演的時序運動序列。為了輔助聾啞人與正常人之間的溝通交流，本文開發(fā)了一個基于機器學習的手語識別系統(tǒng)。通過運動捕捉設備和數據手套為每個手語詞采集了覆蓋各種時空差異性的樣例。提出了一種層次化機器學習模型，可以較低的代價快速排除