2013年--生物醫(yī)學(xué)工程 外文翻譯--適應(yīng)用戶界面的靈活動(dòng)作和手勢(shì)交互的骨架工具包（譯文）

1、<p>　　中文10290字，6700單詞，34000英文字符</p><p>　　出處：Suma E A, Krum D M, Lange B, et al. Adapting user interfaces for gestural interaction with the flexible action and articulated skeleton toolkit[J]. Computers

2、& Graphics, 2013, 37(3): 193-201.</p><p>　　適應(yīng)用戶界面的靈活動(dòng)作和手勢(shì)交互的骨架工具包</p><p>　　Adapting user interfaces for gestural interaction with the flexible action and articulated skeleton toolkit</p&g

3、t;<p>　　學(xué) 部（院）： 電子信息與電氣工程學(xué)部 </p><p>　　專 業(yè)： 生物醫(yī)學(xué)工程 </p><p>　　適應(yīng)用戶界面的靈活動(dòng)作和手勢(shì)交互的骨架工具包</p><p>　　Adapting user interfaces for gestural interaction with the f

4、lexible action and articulated skeleton toolkit</p><p>　　Evan A.Suma a,n, DavidM.Krum a, BelindaLange a, SebastianKoenig a, AlbertRizzo a, MarkBolas</p><p><b>　　摘要：</b></p>&l

5、t;p>　　我們提供一種靈活動(dòng)作和鉸接式骨架工具包(FAAST)，它是一種中介軟件框架集全身與虛擬環(huán)境交互、視頻游戲和其他用戶界面。此工具包提供了一個(gè)完整的端到端解決方案,包括一個(gè)圖形用戶界面來創(chuàng)建自定義手勢(shì),傳感器配置,骨骼跟蹤、動(dòng)作識(shí)別和各種輸出機(jī)制控制第三方應(yīng)用程序,允許任何PC應(yīng)用程序來用手勢(shì)控制,即使它不支持來自運(yùn)動(dòng)傳感器的輸入。為了實(shí)現(xiàn)簡(jiǎn)單易懂的動(dòng)作設(shè)計(jì),我們定義了一個(gè)代表人類的手勢(shì)使用語法規(guī)則集，這個(gè)語法規(guī)則集對(duì)應(yīng)的

6、基本時(shí)空動(dòng)作。這些規(guī)則雖然在概念上很簡(jiǎn)單,但是可以實(shí)現(xiàn)和順序相結(jié)合形成復(fù)雜的手勢(shì)交互。除了展示系統(tǒng)體系結(jié)構(gòu)和我們?cè)O(shè)計(jì)手勢(shì)交互的方法,我們還描述了兩個(gè)案例研究,評(píng)估使用FAAST控制第一人稱角色游戲和提高計(jì)算接口的可訪問性對(duì)于傷殘的群體。因此,這項(xiàng)工作是重要的一步，使手勢(shì)交互更加方便實(shí)現(xiàn)對(duì)于開發(fā)者，研究人員和愛好者。 </p><p>　　關(guān)鍵字：自然交互;手勢(shì);用戶界面；視頻游戲;中介軟件</p>

7、<p><b>　　1．介紹</b></p><p>　　在低成本的深度傳感技術(shù)的最新進(jìn)展已經(jīng)導(dǎo)致了可以感測(cè)用戶的身體運(yùn)動(dòng)的消費(fèi)電子設(shè)備的激增。在2010年年底發(fā)布微軟的Kinect引發(fā)了人們迅速形成一個(gè)龐大而活躍的社區(qū)探索了使用范圍從非正式愛好者的“黑客”到科研項(xiàng)目和商業(yè)應(yīng)用。然而，盡管全身運(yùn)動(dòng)感測(cè)設(shè)備可以很便捷的獲取，設(shè)計(jì)直觀和強(qiáng)大的手勢(shì)交互仍然為開發(fā)是一項(xiàng)挑戰(zhàn)。大體上說，盡

8、管Kinect保持著歷史上銷售最快的消費(fèi)電子設(shè)備的記錄，但是匹配Xbox 360游戲設(shè)備的kinect銷量卻一直不佳，這部分歸因于缺乏精心設(shè)計(jì)的游戲無縫體驗(yàn)[1]和[2]。實(shí)際上，研究已經(jīng)表明，執(zhí)行手臂動(dòng)作和姿勢(shì)可以對(duì)用戶的態(tài)度和對(duì)于視覺刺激[3]，[4]和[5]的情緒反應(yīng)產(chǎn)生深刻的影響，。這些意見指出，需要“手勢(shì)設(shè)計(jì)”理論以及來啟用3D用戶界面和互動(dòng)媒體手勢(shì)交互的創(chuàng)建和定制的工具。</p><p>　　我們工作

9、的一個(gè)重要推動(dòng)力是視頻游戲技術(shù)在康復(fù)[6]和健康等領(lǐng)域的應(yīng)用更加成熟[7]。同時(shí)充分利用移動(dòng)游戲技術(shù)的臨床應(yīng)用價(jià)值已經(jīng)受到越來越多的承認(rèn)，近年來，這些應(yīng)用程序帶來的設(shè)計(jì)者幾個(gè)顯著的挑戰(zhàn)。不同于商業(yè)游戲，在臨床設(shè)置上并不是“一個(gè)尺寸適合所有人”，并必須根據(jù)患者個(gè)人的醫(yī)療需求，活動(dòng)范圍和動(dòng)機(jī)水平來定制的。例如，手臂受損的客戶需要一種鼓勵(lì)其做適當(dāng)運(yùn)動(dòng)的游戲，而不是現(xiàn)在這種讓其身體很疲憊的治療方案。因此，手勢(shì)交互需要由臨床醫(yī)生來根據(jù)每個(gè)客戶來設(shè)

10、計(jì)，他們往往可能不具有專業(yè)的技術(shù)知識(shí)和編程技能。</p><p>　　為了方便全身控制與第三方應(yīng)用程序和游戲的整合，我們開發(fā)被稱為靈活動(dòng)作和鉸接式骨架工具包（FAAST）中介軟件框架。即使該工具包不支持運(yùn)動(dòng)傳感器支持輸入，但是還是做到了手勢(shì)交互與現(xiàn)有接口的適應(yīng)性。為了實(shí)現(xiàn)直觀和透明手勢(shì)設(shè)計(jì)的目標(biāo)，我們定義一個(gè)語法表示使用對(duì)應(yīng)于一個(gè)動(dòng)作的基本空間和時(shí)間分量的規(guī)則集的復(fù)雜手勢(shì)交互。這些“動(dòng)作基元”表示為純英文的表達(dá)，

11、使它們的含義能立即被技術(shù)和非技術(shù)用戶辨別，其類似于可互換的零件，可重復(fù)使用，重復(fù)類似手勢(shì)交互的裝配生產(chǎn)線，通用描述兩種完全不同的終端用戶應(yīng)用程序。 FAAST提供了一個(gè)完整的端至端的框架，其包括用于定義手勢(shì)的創(chuàng)建，傳感器配置，骨骼跟蹤，動(dòng)作識(shí)別，以及各種輸出機(jī)制來控制第三方應(yīng)用程序，例如3D用戶界面和視頻游戲的圖形用戶界面。 FAAST可以用于支持基于動(dòng)作基礎(chǔ)的用戶界面的發(fā)展從無到有，或重新利用現(xiàn)有的應(yīng)用程序通過映射身體動(dòng)作對(duì)應(yīng)于鍵盤和

12、鼠標(biāo)，這項(xiàng)工作是重要的一步，使手勢(shì)交互更加方便實(shí)現(xiàn)對(duì)于開發(fā)者，研究人員和愛好者。在本文中，我們提出了FAAST系統(tǒng)架構(gòu)（第3節(jié)），我們?cè)O(shè)計(jì)手勢(shì)交互（第4）的方式，支持的輸出方式來操縱任意用戶界面（第5），以及兩個(gè)案</p><p><b>　　2．先前工作</b></p><p><b>　　2.1.手勢(shì)識(shí)別</b></p><

13、;p>　　人體運(yùn)動(dòng)的計(jì)算分析通常需要解決三個(gè)重要的問題：探測(cè)，跟蹤和行為的理解[8]。在本文中，從OpenNI和微軟研究院軟件庫提供用戶檢測(cè)及骨骼跟蹤，所以隨后FAAST集中于識(shí)別由跟蹤用戶所執(zhí)行的操作，并產(chǎn)生一個(gè)適當(dāng)?shù)妮敵?。?cè)重于動(dòng)作和手勢(shì)識(shí)別與計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)社區(qū)的數(shù)量是巨大的（見[9]，[10]評(píng)論）。而基于該統(tǒng)計(jì)建模的方法，如隱馬爾可夫模型[11]和縮合算法[12]，通常是高度復(fù)雜的，這樣的方法會(huì)經(jīng)常被非技術(shù)導(dǎo)向的用戶

14、視為“黑盒”算法。雖然這可以應(yīng)用于視頻游戲場(chǎng)景，在游戲里用戶希望用來識(shí)別幾個(gè)不同的手勢(shì)，它們不適合于用在臨床環(huán)境中，其中個(gè)別的運(yùn)動(dòng)的基于患者的要求的微調(diào)是必不可少的。例如，要對(duì)運(yùn)動(dòng)康復(fù)有益，臨床醫(yī)生必須精確地指定運(yùn)動(dòng)閾值的手勢(shì)激活，使被誘發(fā)的運(yùn)動(dòng)只是超出了舒適的運(yùn)動(dòng)范圍，但仍在患者的執(zhí)行能力之內(nèi)。因此，在該論文中描述的方法的目的是為非技術(shù)用戶在運(yùn)行時(shí)對(duì)于不模糊的低級(jí)運(yùn)動(dòng)力學(xué)的調(diào)整。我們的方法也許是最概念上類似于基于時(shí)空有限狀態(tài)機(jī)[13]

15、手勢(shì)識(shí)別方法，我們用簡(jiǎn)單的英語表達(dá)的簡(jiǎn)單列表來描述他們的時(shí)空屬性。</p><p>　　2.2．人體的運(yùn)動(dòng)表示</p><p>　　利用動(dòng)畫虛擬角色已經(jīng)導(dǎo)致了各種高水平的標(biāo)記語言用于同步手勢(shì)，面部表情設(shè)計(jì)行為的發(fā)展和口語對(duì)話。實(shí)例包括虛擬人標(biāo)記語言（VML）[14]，虛擬形象的身體標(biāo)記語言（SBML）[15]，以及眾多的其他語言（見[16]一覽表）。雖然這種語言是用于設(shè)計(jì)該口頭和非口頭通信

16、的字符是有用的，身體行為通常被表示為將通過逆運(yùn)動(dòng)學(xué)計(jì)算預(yù)先記錄的動(dòng)畫文件或高級(jí)行為（例如指向的對(duì)象）。因?yàn)樗鼈兺ǔ２话ㄒ?guī)格為代表身體運(yùn)動(dòng)本身的力學(xué)，它們不適合于實(shí)時(shí)的用戶界面設(shè)計(jì)手勢(shì)輸入。</p><p>　　這也許是更多的信息來研究的人的運(yùn)動(dòng)表示從其他領(lǐng)域。Laban運(yùn)動(dòng)分析（LBA）是一個(gè)普遍的語言來描述人體運(yùn)動(dòng)，包括低級(jí)別的肌肉屬性和高層次的表現(xiàn)力的功能[17]。雖然最初源自于研究舞蹈，LMA已經(jīng)被應(yīng)用到

17、各種領(lǐng)域，如分析受中風(fēng)困擾的個(gè)體運(yùn)動(dòng)[18]。 LMA定義運(yùn)動(dòng)的四個(gè)組成部分既包括運(yùn)動(dòng)和非運(yùn)動(dòng)特點(diǎn)：身體，空間，精力和形狀。雖然這種方法提供了豐富的分析語言來描述人體運(yùn)動(dòng)，也非常復(fù)雜 - LMA的認(rèn)證程序通常需要很多時(shí)間的全面的研究既包括理論和框架的應(yīng)用程序。由于我們的目標(biāo)是提供一個(gè)運(yùn)動(dòng)表示服務(wù)于非技術(shù)用戶，它不需要低水平肌肉解剖，也不需要LMA的高級(jí)分析和復(fù)雜的概念。因此，我們的重點(diǎn)是確定一個(gè)相對(duì)簡(jiǎn)單的純英文格式來表示運(yùn)動(dòng)的運(yùn)動(dòng)學(xué)方面

18、，而無需使用解剖術(shù)語。</p><p><b>　　2.3．軟件框架</b></p><p>　　FAST的最初版本發(fā)布于微軟Kinect發(fā)布后不久的2010年底，，并支持一組手勢(shì)交互，如延展手臂來激活按鍵[19]。之后，該工具包中鼠標(biāo)控制功能隨后被添加。用于產(chǎn)生虛擬輸入事件的想法是由GlovePIE提出的，映射的信號(hào)從各種硬件設(shè)備，諸如任天堂的Wiimote到鍵盤，

19、鼠標(biāo)和游戲桿命令[20]輸入到模擬器。另一個(gè)類似的解決方案是Kinemote，它允許使用浮動(dòng)手和一個(gè)“手掌點(diǎn)擊和拖動(dòng)”來對(duì)應(yīng)[21]的Windows應(yīng)用程序和游戲鼠標(biāo)控制。然而，據(jù)我們所知，F(xiàn)AAST是第一個(gè)定義了一個(gè)簡(jiǎn)單但功能強(qiáng)大的動(dòng)作語法，并以直觀的方式提供非技術(shù)為導(dǎo)向的用戶界面設(shè)計(jì)手勢(shì)識(shí)別方案的軟件工具包。</p><p><b>　　3．系統(tǒng)概述</b></p><

20、;p>　　FAAST被設(shè)計(jì)成在深度感應(yīng)攝像機(jī)骨架跟蹤庫和最終用戶應(yīng)用之間的中間件。目前支持的硬件設(shè)備，包括使用微軟Kinect的Windows SDK的Kinect傳感器，并使用來自PrimeSense的the NITE骨架跟蹤庫中的任何OpenNI兼容的傳感器。圖. 1說明該工具包的架構(gòu)。為了使該工具包功能更加優(yōu)越，F(xiàn)AAST與每個(gè)骨架跟蹤通信時(shí)動(dòng)態(tài)的選擇，并在運(yùn)行時(shí)加載單獨(dú)的模塊。每個(gè)模塊讀取來自其相應(yīng)跟蹤數(shù)據(jù)轉(zhuǎn)換成一個(gè)通用的

21、骨架數(shù)據(jù)的結(jié)構(gòu)。因此，F(xiàn)AAST可輕松擴(kuò)展通過增加新的模塊，并且可以支持未來的設(shè)備和軟件庫。</p><p>　　圖1 FAAST架構(gòu)包含了深度感應(yīng)攝像頭和一個(gè)動(dòng)作識(shí)別模塊，發(fā)送模擬鍵盤和鼠標(biāo)事件到活動(dòng)窗口中的模擬器模塊和VPN服務(wù)器定位的每個(gè)骨骼關(guān)節(jié)的位置和方向的骨架數(shù)據(jù)模塊加入到網(wǎng)絡(luò)應(yīng)用。</p><p>　　一旦骨架已經(jīng)從傳感器讀取，F(xiàn)AAST然后在動(dòng)作識(shí)別模塊處理此數(shù)據(jù)。根據(jù)正在執(zhí)

22、行的操作，其核心應(yīng)用程序然后調(diào)用發(fā)送模擬鍵盤和鼠標(biāo)事件到活動(dòng)窗口的仿真器模塊。FAAST應(yīng)用包括圖形用戶界面（GUI），其允許用戶創(chuàng)建自定義手勢(shì)方案并結(jié)合這些動(dòng)作對(duì)應(yīng)特定仿真器事件。例如，用戶可以選擇當(dāng)用戶傾斜到左邊到一定的度數(shù)來發(fā)送一個(gè)“左箭頭鍵按下”事件（參照?qǐng)D2）。因此能夠指定任意數(shù)量的手勢(shì)，其中每個(gè)都包含手勢(shì)輸入條件和輸出的用戶界面的命令，激活時(shí)要生成用戶定義的列表。因此，F(xiàn)AAST允許用戶控制應(yīng)用程序和游戲肢體動(dòng)作，盡管這些接

23、口只接受來自標(biāo)準(zhǔn)鍵盤和鼠標(biāo)的設(shè)置輸入。該方法用于表示手勢(shì)的輸入，并為任意用戶界面產(chǎn)生輸出。下面兩節(jié)中會(huì)進(jìn)行更詳細(xì)的描述。</p><p>　　圖2. FAAST手勢(shì)創(chuàng)建界面的屏幕截圖。當(dāng)用戶通過15度傾斜到左側(cè)指定的示例手勢(shì)激活。當(dāng)用戶執(zhí)行該操作，左箭頭鍵事件被發(fā)送到與當(dāng)前操作系統(tǒng)所運(yùn)行應(yīng)用程序。當(dāng)用戶返回到原來的位置，相應(yīng)的鍵事件被發(fā)送</p><p>　　除了模擬鍵盤和鼠標(biāo)事件，F(xiàn)AA

24、ST還使用虛擬現(xiàn)實(shí)外設(shè)網(wǎng)絡(luò)（VRPN）服務(wù)器來定位每個(gè)骨架關(guān)節(jié)，這是已經(jīng)成為用于促進(jìn)虛擬現(xiàn)實(shí)應(yīng)用和身體之間通信的流行的標(biāo)準(zhǔn)的網(wǎng)絡(luò)接口的位置和方向跟蹤設(shè)備[22]。這允許開發(fā)人員使用相同的標(biāo)準(zhǔn)協(xié)議來讀骨架數(shù)據(jù)到他們的設(shè)備里。 FAAST為了實(shí)現(xiàn)該目標(biāo)使用了兩個(gè)虛擬世界的開發(fā)環(huán)境，3DVIA工作室[23]及從WorldViz[24]所述的Vizard虛擬現(xiàn)實(shí)工具包。</p><p>　　所述FAAST GUI是由可以

25、一起或單獨(dú)移動(dòng)的三個(gè)窗口構(gòu)成：用于配置工具包，用于顯示傳感器數(shù)據(jù)和控制臺(tái)的信息，用于顯示信息給用戶（參??見圖2）。主窗口被分成四個(gè)選項(xiàng)卡用于配置傳感器的硬件，VRPN服務(wù)器，顯示首選項(xiàng)和手勢(shì)的互動(dòng)。最初，手勢(shì)GUI開始作為一個(gè)簡(jiǎn)單的文本窗口，用戶可以設(shè)置一個(gè)輸入動(dòng)作和相應(yīng)的輸出命令。然而，用戶反應(yīng)這個(gè)接口的效用是有限的，因?yàn)樗壳斑€不清楚如何能直觀地結(jié)合在一個(gè)單一的手勢(shì)多輸入動(dòng)作和輸出命令。此外，太多骨骼關(guān)節(jié)名稱和輸出命令對(duì)用戶來說是

26、一個(gè)很大的負(fù)擔(dān)。通過迭代測(cè)試，我們開發(fā)了針對(duì)使用手勢(shì)設(shè)計(jì)了一個(gè)更直觀的用戶界面。手勢(shì)有一個(gè)輸入列表和一個(gè)輸出列表，每個(gè)列表可以包含任意數(shù)量的項(xiàng)目。項(xiàng)目為純英文的表達(dá)，從而很容易被非技術(shù)用戶理解，并通過下拉菜單進(jìn)行編輯和構(gòu)建（見圖3）。每個(gè)項(xiàng)目也可以禁用/啟用，復(fù)制，并通過點(diǎn)擊和拖動(dòng)重新定位在列表中。同時(shí)也容易被新手用戶理解，它當(dāng)前不包含 “視覺預(yù)覽”，這是以后需要改進(jìn)的一個(gè)地方。</p><p>　　圖3. 規(guī)則

27、是使用形成簡(jiǎn)單的英語表達(dá)下拉框定義。這些基本操作是設(shè)計(jì)更復(fù)雜的手勢(shì)的基礎(chǔ)。</p><p><b>　　4．手勢(shì)交互的設(shè)計(jì)</b></p><p>　　在本節(jié)中，我們描述了構(gòu)成手勢(shì)交互的各個(gè)組成部分，其次是使用這種核心機(jī)制設(shè)計(jì)更為復(fù)雜的手勢(shì)。</p><p>　　4.1．分解復(fù)雜的手勢(shì)</p><p>　　為了為用戶設(shè)計(jì)

28、特定手勢(shì)交互動(dòng)作，我們考慮將復(fù)雜的肢體動(dòng)作分解成簡(jiǎn)單的動(dòng)作。這些簡(jiǎn)單的動(dòng)作可以看成“積木”，可以在FAAST組合從而構(gòu)成復(fù)雜的手勢(shì)。為了讓這些手勢(shì)更加直觀，他們下拉選擇項(xiàng)，產(chǎn)生類似于他們?nèi)粘Ｉ钪械目谡Z的英語表達(dá)（見圖3）。例如，為了設(shè)計(jì)，當(dāng)用戶延伸左手激活一個(gè)動(dòng)作，用戶將選擇的參數(shù)來形成一種表達(dá)，如：“左手在軀干至少16英寸處”對(duì)于每個(gè)指定的動(dòng)作，用戶還必須指定的比較（或者“至少”或“至多”）該數(shù)字閾值的激活和測(cè)量的單位。</p

29、><p><b>　　4.1.1位置約束</b></p><p>　　位置約束是指任意兩個(gè)骨骼關(guān)節(jié)之間的相對(duì)空間關(guān)系,描述如下:</p><p>　　4.1.2 角度約束</p><p>　　這個(gè)也是需要考慮的一個(gè)因素，當(dāng)用戶彎曲或拉直其四肢，通過計(jì)算連結(jié)四肢關(guān)節(jié)位置之間的角度以及相交的兩個(gè)矢量來確定。角度約束被描述如下：&

30、lt;/p><p>　　4.1.3．速度限制</p><p>　　速度限制是指特定部位的速度移動(dòng),描述如下:</p><p>　　4.1.4．身體約束</p><p>　　除了上面列出的限制，還需要考慮身體相對(duì)于攝像機(jī)的整體動(dòng)作而不是局部動(dòng)作。我們定義如下兩個(gè)身體動(dòng)作，傾斜和轉(zhuǎn)動(dòng)，描繪如下：</p><p>　　此外，我們

31、還定義一個(gè)跳躍動(dòng)作。測(cè)量跳躍的高度并不是顯而易見的，然而，因?yàn)槊總€(gè)骨架關(guān)節(jié)的高度值是相對(duì)于傳感器而不是地板。因此，為了檢測(cè)跳躍，我們利用這些行動(dòng)發(fā)生的瞬間，并考慮地板高度值（實(shí)驗(yàn)確定為0.75 S）的高度。跳躍動(dòng)作激活時(shí)雙腳超過地板高度值由指定的距離閾值。我們發(fā)現(xiàn)，當(dāng)使用者站立在一個(gè)地方，隨著深度的傳感器交互，由于視場(chǎng)限制的，跳檢測(cè)是相當(dāng)可靠的。跳躍操作被描述如下： </p><p>　　4.1.5．時(shí)間的限制&

32、lt;/p><p>　　最后一種約束，我們考慮的是，構(gòu)成手勢(shì)時(shí)的個(gè)人行動(dòng)之間的時(shí)間延遲。在非正式的測(cè)試中，我們確定，它能夠根據(jù)任一的先前行為來定義動(dòng)作定時(shí)啟動(dòng)時(shí)間或停止時(shí)間，這取決于具體的手勢(shì)。因此，時(shí)間的限制被描繪為</p><p>　　4.2．設(shè)計(jì)復(fù)雜的手勢(shì)</p><p>　　在上一節(jié)中所描述原始動(dòng)作是很簡(jiǎn)單的，其結(jié)果是相互作用的可能性是有限的。然而，通過組合這些

33、“原始動(dòng)作”，復(fù)雜的手勢(shì)交互是可以表示的。因此，我們開發(fā)了使用先前描述的原始動(dòng)作來組合復(fù)雜的手勢(shì)的方法。手勢(shì)能同事的進(jìn)行組合，順序的隨時(shí)間組合或者兩者的任意組合。</p><p>　　4.2.1．同時(shí)操作</p><p>　　任何輸入的動(dòng)作都被視為同時(shí)發(fā)生的事件。當(dāng)所有的輸入條件為同時(shí)為真的時(shí)候，手勢(shì)才會(huì)被激活。例如，要求用戶在身體的前方移動(dòng)用雙做一個(gè)快速的“推”的動(dòng)作，人們可以設(shè)計(jì)以下手

34、勢(shì)：</p><p>　　4.2.2．順序動(dòng)作</p><p>　　通過同時(shí)結(jié)合位置，角度，速度和身體的限制，用戶可以在一個(gè)時(shí)間里微調(diào)身體姿勢(shì)和運(yùn)動(dòng)。然而，許多手勢(shì)要求按順序執(zhí)行多個(gè)動(dòng)作。我們使用時(shí)間約束條件來分隔多個(gè)動(dòng)作。當(dāng)遇到時(shí)間約束條件時(shí)，動(dòng)作識(shí)別器將等待，直到最小時(shí)間已經(jīng)過去（其可以是零），然后開始檢查序列中的下一個(gè)動(dòng)作來激活。如果該動(dòng)作沒有在最大時(shí)間之前激活，則手勢(shì)和動(dòng)作會(huì)重新開

35、始檢測(cè)識(shí)別。例如，以下序列代表一個(gè)“波”的手勢(shì)，當(dāng)用戶的右手相對(duì)于肘迅速的來回，則該手勢(shì)被激活：</p><p>　　4.2.3結(jié)合同步和順序動(dòng)作</p><p>　　結(jié)合同步和順序動(dòng)作可以設(shè)計(jì)復(fù)雜的手勢(shì)并且FAAST可以實(shí)時(shí)識(shí)別。在用戶構(gòu)建的手勢(shì)數(shù)量和復(fù)雜性上并沒有特定的結(jié)合，所以最終他們被自己的創(chuàng)造力所限制。此外，由于手勢(shì)是由單獨(dú)的動(dòng)作結(jié)合而成的，調(diào)整動(dòng)作參數(shù)的過程容易辨別。下面的例子

36、拍打手臂并且身體向前傾等一系列連續(xù)動(dòng)作，這個(gè)手勢(shì)動(dòng)作可用于飛行游戲中：</p><p>　　5．操縱任意用戶界面</p><p>　　設(shè)計(jì)標(biāo)準(zhǔn)手勢(shì)輸入后，有必要定義一個(gè)輸出來對(duì)應(yīng)用戶的手勢(shì)輸入。類似于手勢(shì)輸入的表示方法，F(xiàn)AAST提供了一組強(qiáng)大的輸出事件，可以同步和順序的結(jié)合。這種方法允許用戶設(shè)計(jì)復(fù)雜的宏來操縱的任意用戶界面，不管是簡(jiǎn)單的動(dòng)作還是復(fù)雜動(dòng)作。所有生成的輸出被直接發(fā)送到應(yīng)用程序

37、中。</p><p><b>　　5.1．輸出事件</b></p><p>　　為了設(shè)計(jì)用于操作任意接口的機(jī)制。FAAST支持一系列的輸出事件類型來對(duì)應(yīng)輸入方法，類似于第4節(jié)所使用的方法，輸出是從下拉框中選擇，然后形成簡(jiǎn)單的英語表達(dá)（圖4），可能的輸出事件包括：</p><p>　　?鍵盤事件：這些事件是指單數(shù)按鍵，它可被指定為“按”或“保持”

38、（按下鍵緊跟上按鍵）一個(gè)固定的時(shí)間量或直到停止該手勢(shì)。</p><p>　　?輸入事件: 這些時(shí)間的完整文本生成一系列的按鍵，讓句子和短語輸入到一個(gè)接口。</p><p>　　?鼠標(biāo)按鈕事件: 這些事件是指鼠標(biāo)按鈕（左，右，或中間）單獨(dú)動(dòng)作，類似于“按”和“保持”鍵盤事件規(guī)則。</p><p>　　?鼠標(biāo)滾輪事件: 這些事件是指鼠標(biāo)滾輪（向上或向下）點(diǎn)擊指定數(shù)量的運(yùn)

39、動(dòng)。</p><p>　　?鼠標(biāo)移動(dòng)事件：這些事件是指鼠標(biāo)光標(biāo)的移動(dòng)，在任一絕對(duì)坐標(biāo)（在桌面上的特定位置），或相對(duì)坐標(biāo)（相對(duì)于光標(biāo)的當(dāng)前位置）。</p><p>　　?VRPN按鈕事件: FAAST也可以使用VRPN作為骨架數(shù)據(jù)發(fā)送按鈕信號(hào)到網(wǎng)絡(luò)上的服務(wù)器。共有255按鈕被支持，由一個(gè)索引號(hào)指定。這些事件遵循同樣的“按”和“保持”規(guī)則鍵盤事件。</p><p>　　

40、?FAAST事件: 這些事件是FAAST特殊系統(tǒng)命令，這是為了方便遠(yuǎn)程操作應(yīng)用程序。命令包括“停止仿真器”，“啟動(dòng)模擬器”和“恢復(fù)模擬器”。</p><p>　　?時(shí)間事件: 這些事件指可在輸出事件之間插入一個(gè)時(shí)間延遲。。</p><p>　　圖4類似于我們手勢(shì)表示方案，輸出由簡(jiǎn)單的英語表達(dá)下拉框選擇，它可同時(shí)并依次進(jìn)行組合而形成復(fù)雜的宏。</p><p><

41、b>　　5.2．輸出宏</b></p><p>　　用戶可以創(chuàng)建任意數(shù)量的輸出事件作為單一手勢(shì)。當(dāng)所述手勢(shì)被激活時(shí)，輸出事件將在列表的開頭被執(zhí)行。如果時(shí)間事件出現(xiàn)，那么FAST將等待指定的時(shí)間量，然后再繼續(xù)。未通過時(shí)間延遲分隔的事件將被立即執(zhí)行。這種體系結(jié)構(gòu)可以創(chuàng)建復(fù)雜的宏，可以實(shí)現(xiàn)各種各樣的通常用鍵盤和鼠標(biāo)完成的任務(wù)。例如，手勢(shì)的應(yīng)用程序啟動(dòng)可以通過使用下列代碼來實(shí)現(xiàn)：</p>

42、<p>　　默認(rèn)情況下，當(dāng)手勢(shì)激活時(shí)輸出事件只執(zhí)行一次。但是也有用戶停止手勢(shì)仍然有輸出事件。因此，用戶給出循環(huán)的輸出事件和指定的超時(shí)值，其可以是零（在該點(diǎn)時(shí)，手勢(shì)是激活的而且沒幀輸出事件都執(zhí)行）。例如，圖5所示四個(gè)互補(bǔ)手勢(shì)被執(zhí)行時(shí)反復(fù)允許用戶通過移動(dòng)右手靠近肩部來逐漸的控制鼠標(biāo)光標(biāo)的移動(dòng)。</p><p>　　圖5重復(fù)地執(zhí)行輸出事件，用戶可以隨時(shí)間連續(xù)的控制用戶界面。在本例子中，用右手靠近肩部將會(huì)使鼠標(biāo)

43、光標(biāo)逐漸的向一個(gè)或多個(gè)方向移動(dòng)。</p><p><b>　　6.案例研究 </b></p><p>　　以一個(gè)簡(jiǎn)單的工具箱開始，F(xiàn)AAST逐漸產(chǎn)生了一些基于各種內(nèi)容的實(shí)驗(yàn)，同時(shí)還有來自廣大社區(qū)的反饋。在這一部分，我們?cè)斒隽宋覀兊挠^察，結(jié)論，和一些使用FAAST的限制，從而在兩個(gè)特定的領(lǐng)域調(diào)整了用戶界面以適用相關(guān)的手勢(shì)交互：（1）第一人稱的錄像游戲的控制；（2）為了

44、具有運(yùn)動(dòng)損傷的個(gè)體提供了用戶界面可獲得性進(jìn)行了該進(jìn)。</p><p>　　6.1 第一人的錄像游戲的控制</p><p>　　為了評(píng)估使用第一人稱的FAAST控制的有效性，我們嘗試設(shè)計(jì)了角色扮演游戲Elder Scroll V:Skyrim 的手勢(shì)交互界面，這款游戲由Bethesda 軟件公司開發(fā)的。該游戲在剛發(fā)布的一兩天就賣出了3400萬的銷量，所以Skyrim是一項(xiàng)合理的測(cè)試案例，因?yàn)?/p>

45、他有著普遍的第一人的游戲控制體系，同時(shí)涉及廣泛的視覺層面的交流。</p><p><b>　　6.1.1 運(yùn)動(dòng)</b></p><p>　　運(yùn)動(dòng)是當(dāng)3D用戶交互中最常見的和最基本的任務(wù)[25]。為了模仿這個(gè)游戲中的運(yùn)動(dòng)，我們使用FAAST模擬了一個(gè)walking-in-place的組合，這種組合對(duì)用戶相比操作桿是一種正反饋的存在感覺[26]。通過所謂的實(shí)驗(yàn)和錯(cuò)誤的實(shí)驗(yàn)

46、，我們決定采用了兩個(gè)獨(dú)立的手勢(shì)，“左腳步”和“右腳步”,他們可以認(rèn)為是產(chǎn)生了walking-in-place的運(yùn)動(dòng)，他們都是被在游戲的向前鍵的過程中編碼成‘W’鍵。每個(gè)手勢(shì)的定義，如下所示：</p><p>　　雖然，這個(gè)運(yùn)動(dòng)的比喻是具有合理性的有效，但是我們確實(shí)注意到在用戶停止腳步是檢測(cè)到了輕微的延時(shí)。通常來講，在用戶停止的響應(yīng)檢測(cè)和提供步態(tài)之間的持續(xù)的運(yùn)動(dòng)之間存在著代價(jià)替換的關(guān)系。但是，在用戶停止之后的相機(jī)的

47、運(yùn)行時(shí)間的亮是相當(dāng)少的（基本少于1s）。同時(shí)出現(xiàn)在可以接受的范圍內(nèi)。</p><p>　　但是，好的相機(jī)控制具有更加嚴(yán)格的對(duì)運(yùn)動(dòng)的體感游戲的限制。左右轉(zhuǎn)向是格斗游戲中的主要因素和目標(biāo)。我們身體的第一選擇傾向?qū)τ谟行У挠螒蛟O(shè)置來說是太初略了。目前，我們相信手勢(shì)輸入不僅適用于好的相機(jī)控制，這出現(xiàn)在第一人稱的游戲是因?yàn)榫鹊淖非?，同時(shí)這個(gè)問題仍然是我們未來的工作。因此我們建議增加這些游戲類型的具有轉(zhuǎn)向和瞄準(zhǔn)的另一種的手

48、勢(shì)控制組合，例如手持型的控制器或者是拓展的方向追蹤器。</p><p><b>　　6.1.2操作</b></p><p>　　雖然手勢(shì)交流對(duì)于運(yùn)動(dòng)是一種挑戰(zhàn)，但是它特別適合第一人稱錄像游戲中的許多操作任務(wù)。在Skyrim游戲中，格斗通過鍵盤或者是鼠標(biāo)的命令獲得，涉及到外星人的左右手或者是同時(shí)使用。每個(gè)手的特定功能取決于當(dāng)前活動(dòng)的設(shè)備,可能是武器的類型，項(xiàng)目、或者是符

49、咒。在以實(shí)施符咒的案例中，相同的符咒將產(chǎn)生一種，或者時(shí)候許多強(qiáng)有力的版本。它證明了相應(yīng)簡(jiǎn)單的每只收的快速向前的運(yùn)動(dòng)（使用位置和速度的限制）以一種直觀的方式控制這些行為。</p><p>　　切換當(dāng)前裝備的武器或者是符咒的行為特別適用手勢(shì)的輸入，在這里我們的方法證明是很大的有效性的。裝備一把劍可以通過把手放下刀腕部獲得，然后快速抽查手向頭部的上面。</p><p>　　更有趣的是，我們發(fā)現(xiàn)在

50、空中畫標(biāo)志和其他復(fù)雜的通過使用連續(xù)的位置限制的手部運(yùn)動(dòng)都是一種符咒投擲的方法。但是這些強(qiáng)有力的手勢(shì)需要相當(dāng)量的trial-and-error來調(diào)整自私的方向閾值，直到他們進(jìn)行無縫的工作。除此之外，因?yàn)樯眢w類型之間存在著差異，對(duì)于特定的用戶的參數(shù)設(shè)置或許不一定完全適合其他人。這向我們指出了在未來的需要是為自動(dòng)計(jì)算基于用戶運(yùn)動(dòng)的方向閾值，或者是根據(jù)用戶的體型和臂長來選擇特定的閾值百分比。</p><p>　　除此之外

51、，這在錄像游戲中也是很常見的，特別是在角色扮演的題材中，需要大量的交互的內(nèi)容。例如，我們發(fā)現(xiàn)在進(jìn)行實(shí)驗(yàn)游戲的時(shí)候偶爾會(huì)出現(xiàn)，一個(gè)虛擬人物會(huì)和外星人進(jìn)行原始的對(duì)話。沒有經(jīng)過手勢(shì)檢測(cè)對(duì)話的選項(xiàng)的方法，用戶不得不通過鼠標(biāo)或者鍵盤來手動(dòng)的實(shí)現(xiàn)這些操作。在未來的工作中，提供大量的交互內(nèi)容將會(huì)成為有益的，每個(gè)人都有自己的一系列的交互內(nèi)容，用戶可以基于及時(shí)的游戲任務(wù)驚醒手勢(shì)的轉(zhuǎn)換。除此之外，從第三方的應(yīng)用自動(dòng)提取交互的內(nèi)容也是有可能的，但這相對(duì)于當(dāng)前

52、的工作來說是有遠(yuǎn)見的，但不是重要的。</p><p>　　6.2具有運(yùn)動(dòng)損傷的用戶的可獲得性</p><p>　　那些具有大腦麻痹的運(yùn)動(dòng)損傷的小孩和那些具有腦部損傷的成年人在進(jìn)行電腦交互存在著困難，這些接口是給那些具有良好的運(yùn)動(dòng)控制和反映時(shí)間的人設(shè)計(jì)的。為了增加娛樂內(nèi)容的交互對(duì)于這些小孩和成年人的可接受性，一支身體治療師和心理學(xué)家使用了FAAST的實(shí)驗(yàn)用來提供簡(jiǎn)單的桌面和網(wǎng)頁的控制機(jī)制，這

53、些是基于PC游戲的，從而這些小孩和大人能夠進(jìn)行操作。這種應(yīng)用強(qiáng)調(diào)了FAAST的獨(dú)特的優(yōu)勢(shì)，它提供了一種領(lǐng)域的專家（非編程的）來設(shè)計(jì)手勢(shì)交互可以根據(jù)個(gè)體病人的需要進(jìn)行定制的。這是基于廣泛的娥個(gè)體可行性的。在這些測(cè)試的空間中，研究人員和臨床醫(yī)師提供了基于病人的每輪的評(píng)估的反饋，同時(shí)我們反復(fù)地提高了基于這些實(shí)驗(yàn)和將一定用戶的接口。在這一部分，我們總結(jié)了這些反饋和問題的主要的部分，這些都是他們所遇到的，同時(shí)我們調(diào)整我們的工具箱來表達(dá)這些需要。&

54、lt;/p><p>　　初始的技術(shù)設(shè)計(jì)的部分是在實(shí)驗(yàn)的設(shè)備中完成的，根據(jù)在臨床的設(shè)置的部分，遵循著用戶測(cè)試部分（在洛杉磯的兩個(gè)臨床的）。每個(gè)測(cè)試的部分遵循著相同的協(xié)議。根據(jù)告知的意見，參與者和患者被提供的一些關(guān)于FAAST系統(tǒng)是如何運(yùn)行的，和提供將要進(jìn)行的游戲的信息。參與者和臨床醫(yī)生都參與到游戲之內(nèi)的繪制手勢(shì)的過程。基于他們的知識(shí)和他們的舒適程度和他們不同的手勢(shì)。測(cè)試會(huì)從30分鐘不等在長度2.5小時(shí)，這取決于所述的時(shí)

55、間限制醫(yī)生/參與者，時(shí)間設(shè)計(jì)量取手勢(shì)，技術(shù)難度和游戲數(shù)量嘗試。會(huì)議期間，與會(huì)代表和醫(yī)生被要求提供意見和反饋系統(tǒng)和他們的經(jīng)驗(yàn)。以下的測(cè)試會(huì)話完成時(shí)，兩個(gè)參與者和臨床醫(yī)生也被要求提供反饋會(huì)話和改進(jìn)建議的系統(tǒng)。該研究人員還指出，技術(shù)上的困難和潛在的變化是基于他們的經(jīng)驗(yàn)的系統(tǒng)。反饋是分析和修訂建議進(jìn)行優(yōu)先排序和一些接下來的測(cè)試環(huán)節(jié)之前實(shí)施的。其它修改加到未來變化的列表。一共有六個(gè)參與者和四個(gè)醫(yī)生在多個(gè)測(cè)試參加會(huì)議。</p><

56、;p>　　定制當(dāng)應(yīng)用程序最初是很難用因?yàn)椴淮嬖谝粋€(gè)交互個(gè)別患者簡(jiǎn)單的方法用于評(píng)估具有病人測(cè)試單個(gè)運(yùn)動(dòng)/姿勢(shì)，然后執(zhí)行多個(gè)手勢(shì)一起而不必設(shè)置不同的文件。這增加了的時(shí)候努力和失望，并進(jìn)入測(cè)試手勢(shì)有關(guān)。在此基礎(chǔ)上的反饋，我們?cè)黾拥哪芰Γ共⒔乖陲w行姿態(tài)。而一個(gè)簡(jiǎn)單的修改，這功能節(jié)省時(shí)間大量的評(píng)估，并造成較少挫折感為評(píng)估器和患者。</p><p>　　評(píng)估人員能夠設(shè)計(jì)手勢(shì)來激活各種跨越不同而變化的鍵盤和鼠標(biāo)命令游

57、戲，例如，有些游戲需要一個(gè)按鈕保持，其他需要一個(gè)快速的按下一個(gè)按鈕和釋放或多個(gè)按鈕印刷機(jī)臨門。對(duì)于后者的情況，也難以為患者快速連續(xù)重復(fù)的姿態(tài)多次。這一初步反饋提供動(dòng)機(jī)添加循環(huán)行為不斷產(chǎn)生輸出事件。然而，仍然有一個(gè)問題，當(dāng)一個(gè)第三方軟件或游戲有多個(gè)規(guī)則一個(gè)按鈕 - 例如，“跳”可能從“W”鍵只需按下一個(gè)按鈕，但是“高跳”的結(jié)果或'飛'，可能會(huì)導(dǎo)致只有當(dāng)'W'鍵被按下多個(gè)次臨門。這意味著相同的鍵必須是通過不同

58、的手勢(shì)控制來執(zhí)行這些操作。而在當(dāng)前的設(shè)置不是不可克服的，這也提供復(fù)雜的附加層，我們未來計(jì)劃在解決這一問題。</p><p>　　用手勢(shì)來控制第三方的一個(gè)主要困難應(yīng)用程序和網(wǎng)絡(luò)瀏覽器的網(wǎng)頁游戲是應(yīng)用程序不僅需要擊鍵玩游戲，但常常需要通過菜單設(shè)置復(fù)雜導(dǎo)航游戲，在游戲過程中，以增加的功能，層次最高，等等。目前，F(xiàn)AAST無法直觀地支持導(dǎo)航通過這些菜單用許多不同的選擇，因此評(píng)估員必須介入使用鍵和鼠標(biāo)。而評(píng)估表明，控制鼠標(biāo)

59、光標(biāo)的能力與FAST是一個(gè)良好的開端朝著解決這一互動(dòng)挑戰(zhàn)，但與復(fù)雜的菜單有很多選擇這種變得繁瑣，也不可能對(duì)大多數(shù)電機(jī)受損病人。在將來，有可能檢測(cè)到何時(shí)文本菜單是通過計(jì)算機(jī)視覺技術(shù)在屏幕上顯示在屏幕上，然后自動(dòng)瞄準(zhǔn)特定區(qū)域使通過手勢(shì)輸入菜單選擇更加直觀。</p><p>　　使通過手勢(shì)輸入菜單選擇更加直觀。當(dāng)在Web瀏覽器播放時(shí)，使用鼠標(biāo)控制功能，播放器不局限于有源（游戲）窗口；因此，很難對(duì)某些患者留內(nèi)游戲區(qū)域，造

60、成挫折，并提供一個(gè)限制，并且少配合游戲體驗(yàn)。評(píng)估人員建議即，能夠限制鼠標(biāo)或內(nèi)限制鼠標(biāo)由用戶識(shí)別的區(qū)域（例如，由圖中的盒該鼠標(biāo)可以移動(dòng)）會(huì)是在這種情況下有幫助。該功能目前正在為未來的版本中實(shí)現(xiàn)該工具包。</p><p>　　最后，評(píng)估還建議，F(xiàn)AST未來版本可以用一組預(yù)編程默認(rèn)的可擴(kuò)充手勢(shì)可被調(diào)整和修改對(duì)個(gè)人用戶和應(yīng)用程序。當(dāng)我們收集速度有多快的更多信息通過使用現(xiàn)實(shí)世界的從業(yè)者，我們計(jì)劃來分析這些數(shù)據(jù)，識(shí)別可以提供

61、有用的常見的手勢(shì)自動(dòng)。</p><p>　　總的來說，病人的FAAST的使用使得研究人員和臨床醫(yī)生可以通過網(wǎng)頁瀏覽和游戲，以及其他第三方的應(yīng)用來檢測(cè)病人的限制和反常的表現(xiàn)。任務(wù)鎖定性的評(píng)估已經(jīng)給我們提供了很重要的反饋，但是還未在這些特定的組內(nèi)進(jìn)行相關(guān)的測(cè)試的，使得我們能夠提高FAAST的可行性。盡管在未來的工作中還存在著許多的改進(jìn)需要作出得以增加運(yùn)動(dòng)損傷的用戶的使用，F(xiàn)AAST仍然可以提供一系列的可行性來提供病人

62、和第三方應(yīng)用的游戲的交互，但這在過去簡(jiǎn)直是一個(gè)挑戰(zhàn)。</p><p><b>　　7．結(jié)論</b></p><p>　　在本文中，我們描述了一個(gè)核心機(jī)制用于手勢(shì)互動(dòng)的設(shè)計(jì)，提供了一個(gè)綜合的工具包，用于基于身體控制的用戶界面的調(diào)整。通過提供手勢(shì)設(shè)計(jì)工具，對(duì)于非技術(shù)用戶也是簡(jiǎn)單明了的，以此同時(shí)提高了利用第三方應(yīng)用的能力，F(xiàn)AAST不僅僅在娛樂方面是非常有用的，同時(shí)對(duì)于研究

63、人員和臨床醫(yī)生在康復(fù)領(lǐng)域也是非常有用的。雖然FAAST旨在利用OpenNI兼容的深度傳感器，如微軟Kinect，我們希望能夠支持其他類型的全身跟蹤硬件來獲得更復(fù)雜和強(qiáng)大的骨架數(shù)據(jù)，手和手指的跟蹤數(shù)據(jù)，但是，定義規(guī)則集的過程可能變得更加復(fù)雜。因此，在未來，我們打算開發(fā)圖形用戶界面來自動(dòng)生成規(guī)矩集通過錄制的手勢(shì)或者人體運(yùn)動(dòng)的視覺效果。探索結(jié)合微調(diào)功能和手勢(shì)識(shí)別的混合方法。</p><p>　　該工具包可提供免費(fèi)下載并