語音，觸控()computergraphics

1、第七章 人機交互繪圖技術(shù),人機交互,人機交互（Human-Computer Interaction）是指用戶與計算機系統(tǒng)之間的通信，它是人與計算機之間各種符號和動作的雙向信息交換。這里“交互”定義為一種通信，即信息交換，并且是一種雙向信息交換，可由人向計算機輸入信息，也可以由計算機向人輸出信息。,計算的三次革命,1950年，大型機計算時代 多人一機1975年，PC計算時代 信息交流一人一機2000年，普適計

2、算時代 服務(wù)一人多機,字符用戶界面鍵盤圖形用戶界面鼠標，GUI，WIMP新世紀用戶界面(???)筆、語音，觸控(???),普適計算的認識,Ubiquitous Computing(ubicopm)Mark Weiser 19911.任何時間任何地點提供信息和服務(wù)2.Focus on Applications Mark Weiser“The real purpose for ubiquitous comp

3、uting, of course, are the applications.”3.多人可以使用的計算，計算環(huán)境. 個人所擁有的計算，日用品4.人機融合過程：人適應(yīng)計算機；計算機適應(yīng)人,普適計算中人機交互的三個特征,自然化多通道模糊非結(jié)構(gòu) 相對于結(jié)構(gòu)化數(shù)據(jù)（即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)）而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、 文本

4、、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。  連續(xù)人性化顯示感知（符號、動作、表象、情感）隱式感知---用戶意圖捕捉智能化學(xué)習(xí)能力,本章內(nèi)容,,,基本交互任務(wù),交互的輸入模式,輔助交互技術(shù),交互設(shè)備,基本問題,人機交互的新發(fā)展,7.1 基本圖形輸入設(shè)備和基本交互任務(wù),,7.1.1 基本的圖形輸入設(shè)備,,定位設(shè)備,筆劃設(shè)備,選擇設(shè)備,字符串設(shè)備,定值設(shè)備,拾取設(shè)備,基本的圖形輸入設(shè)備,定位設(shè)備,

5、定位設(shè)備(Locator)用于指定用戶空間的一個位置，如指定一個圓的圓心等。其輸入方式包括直接或間接在屏幕上輸入，設(shè)置數(shù)值坐標等。,,鼠標,光標,數(shù)字化儀,操縱桿,方向鍵,間接輸入,鍵盤,筆劃設(shè)備,軌跡球,定值設(shè)備,定值設(shè)備（Valuator）為應(yīng)用程序輸入一個值（實數(shù)），如在旋轉(zhuǎn)某一對象時輸入一個旋轉(zhuǎn)角度、縮放對象時輸入一個比例因子以及輸入文字高度、字體大小比例因子等。輸入方式包括直接輸入數(shù)值、通過字符串取值、通過比例尺輸入、執(zhí)行

6、上下記數(shù)控制命令等。物理設(shè)備包括旋鈕、鍵盤、數(shù)字化儀、鼠標、方向鍵、編程功能鍵等。,旋鈕,選擇設(shè)備,選擇設(shè)備（Choice）為應(yīng)用程序在多個選項中選定一項，如可選擇功能或圖形元素等。,,直接/間接選擇,字符串選擇,手寫輸入,時間掃描,聲音輸入,輸入方式,,光筆,觸摸屏,鼠標,數(shù)字化儀,操縱桿等,物理設(shè)備,觸摸屏,拾取設(shè)備,拾取設(shè)備（Pick）在處理的模型中選取一個對象，從而為應(yīng)用型操作確定目標。,,接/間接選擇,時間掃描,字符串選取,

7、輸入方式,,定位設(shè)備,編程功能鍵,字符串輸入設(shè)備,物理設(shè)備,筆型字符識別器,字符串設(shè)備,字符串設(shè)備（String）向應(yīng)用程序輸入字符串，如為某對象確定名字、為某圖紙輸入加注文字等,,鍵盤輸入,手寫輸入,菜單輸入,聲音輸入,輸入方式,,字母鍵盤,光筆,聲音識別儀,數(shù)字化儀,觸壓板等,物理設(shè)備,7.1.2 基本交互任務(wù),,,定位,筆劃,選擇,字符串,定值,拾取,基本的交互技術(shù),1. 定位,定位是確定平面或空間一點（x。, y）或（x, y

8、, z）的坐標直接定位，是用定位設(shè)備直接指定某個點的位置，可以準確地給點定位（例如鍵盤輸入）。間接定位指通過定位設(shè)備的運動控制屏幕上光標的運動進行定位，例如在移動鼠標時，根據(jù)鼠標移動的相對距離去控制屏幕上光標的移動。數(shù)字化儀不僅可像鼠標那樣產(chǎn)生輸入點的相對坐標，也可輸入點的絕對坐標。如果我們要輸入一張圖紙，用數(shù)字化儀輸入圖上各點的絕對坐標是最合適的方法。,數(shù)字化儀,2. 筆劃,筆劃輸入用于輸入一組順序的坐標點，筆劃輸入相當于多次調(diào)

9、用定位輸入，輸入的一組點常用于顯示折線或作為曲線的控制點。筆畫設(shè)備鼠標、軌跡球、游戲棒連續(xù)移 動的信號經(jīng)轉(zhuǎn)換成為一組坐標值。圖形輸入板的連續(xù)模式可通過按 鍵激活。當光標在圖形輸入板表 面上移動時，就產(chǎn)生一組坐標值,手寫板,3.定值,定值（或數(shù)值）輸入用于設(shè)置物體旋轉(zhuǎn)角度、縮放比例因子等。它要在給定的數(shù)字范圍內(nèi)輸入一個值。用鍵盤鍵入數(shù)值軟件的方法在屏幕上繪制刻度尺或比例尺，用戶可用定位設(shè)備控制光標在尺子上移動實現(xiàn)數(shù)值

10、的輸入。用刻度盤實現(xiàn)數(shù)值輸入的原理也一樣，操作員控制從圓心出發(fā)的線段繞圓心旋轉(zhuǎn)，根據(jù)顯示的角度讀數(shù)或比例數(shù)據(jù)來定值。,圖7.1 定值輸入,4.選擇,選擇是在某個選擇集中選出一個元素，它可用于指定命令，確定操作對象或選定屬性等。選擇某項功能可用功能鍵選擇某個圖元可用鼠標移動光標到要選的圖元靠近的位置，按下鼠標的按鈕，通過軟件選擇距光標最近的圖元。菜單功能使用最普遍，也是非常重要的一種交互方法。使用菜單可較好地改善應(yīng)用系統(tǒng)用

11、戶接口的友好性。除了選擇子圖或圖元，幾乎所有其他選擇功能均可由菜單選擇來實現(xiàn)。,,根據(jù)可選對象的數(shù)量、性質(zhì)及彼此間的邏輯關(guān)系，用戶可以自己定義菜單內(nèi)容的排列及菜單的層次結(jié)構(gòu)。對話框和鍵盤上的按鍵也可提供選擇功能。對話框的內(nèi)容極豐富，常用選擇開關(guān)及radio按鈕（單選按鈕，以小圓框打點表示被選中）實現(xiàn)選擇功能。鍵盤選擇也極為簡單，如擊數(shù)字鍵“1”表示使用綠色繪制，“2”表示使用藍色繪制等。,5. 拾取,拾取的功能是選擇圖形

12、對象，用于選擇場景中即將進行變換或編輯的部分。拾取一個基本對象的方法有：1）指定名稱法，通過指定欲拾取對象的名稱實現(xiàn)；2）特征點法，選擇時讓圖形的特征點（如線段的端點，圓心等）以強光醒目顯示，操作員通過選擇特征點來拾取對象，這種方法涉及的內(nèi)部計算較少；3）邊界盒法，對每一個子圖預(yù)先求一個邊界盒或比邊界盒稍大一點的ε邊界盒。這里的ε邊界盒是指邊和坐標軸平行且包含該子圖的最小的矩形。4）分類法，分別將折線、點、弧等在有關(guān)按

13、鍵的控制下進行拾取。,6. 字符串,手寫板,語音輸入,7.2 人機交互輸入模式,請求模式(request mode),請求模式下，輸入設(shè)備的初始化是在應(yīng)用程序中設(shè)置的，即只有輸入設(shè)置命令（或語句）對相應(yīng)的設(shè)備設(shè)置所需要的輸入模式后，該設(shè)備才能作相應(yīng)的輸入處理。在這種請求的命令中要指定由哪一個應(yīng)用程序調(diào)用及調(diào)用哪一個輸入設(shè)備。在請求方式下，程序和輸入設(shè)備輪流處于工作狀態(tài)和等待狀態(tài)，由程序支配輸入設(shè)備的啟動。,程序工作，輸入設(shè)備等待

14、程序請求,,遇到請求指令（request）,輸入設(shè)備工作，程序等待接收數(shù)據(jù),,,請求滿足,樣本模式（sample mode）,當把一臺或多臺輸入設(shè)備定義為樣本模式后，這些設(shè)備會連續(xù)不斷地把信息輸入進來，而不必等待應(yīng)用程序的輸入語句，即信息的輸入和應(yīng)用程序中的輸入命令無關(guān)。當應(yīng)用程序遇到取樣命令時，就把相應(yīng)的物理設(shè)備的值作為取樣數(shù)值。優(yōu)點：不像請求模式那樣要求用戶有一明顯的動作，它對連續(xù)的信息流輸入比較方便，也可同時處理多個輸入設(shè)備的輸

15、入信息。缺點：當處理某一種輸入的時間較長時，可能會失掉某些輸入信息程序和輸入設(shè)備同時運行輸入設(shè)備不斷地產(chǎn)生數(shù)據(jù)，并把數(shù)據(jù)輸入數(shù)據(jù)緩存區(qū)，從而不斷刷新數(shù)據(jù)緩存區(qū)的內(nèi)容。程序在運行時若遇到采樣語句，就到數(shù)據(jù)緩存區(qū)中去取數(shù)據(jù)。這樣，程序取的是最新刷新的輸入數(shù)據(jù)。,事件模式（event mode）,事件模式的工作過程,在采用事件模式輸入數(shù)據(jù)的過程中，輸入設(shè)備和程序分別運行。輸入設(shè)備所產(chǎn)生的數(shù)據(jù)被組織成事件節(jié)點，排入事件隊列中等待

16、程序的處理。程序運行到事件處理語句時，就從事件隊列中取出隊首事件進行處理。如果事件隊列為空，程序則等待一定的時間片，等待事件的發(fā)生。,7.3 常見輔助交互技術(shù),7.3.1 幾何約束,定位約束在屏幕上定義一個不可見的網(wǎng)格，也可用點或網(wǎng)格線顯式地標識出網(wǎng)格結(jié)點的位置。網(wǎng)格線是具有相同間距的水平線和垂直線，其交點為網(wǎng)格點假設(shè)定義不可見網(wǎng)格線為 設(shè)輸入點的坐標為（x, y），則離它最近的網(wǎng)格點的坐標為：,,方向約束該技術(shù)用于繪制

17、水平或垂直的線段。繪制時若終點和給定的起點之間的連線和水平線的夾角小于45°（或更小的角度），即繪出一條水平線（如圖7.6）在只要求繪垂直線或水平線的應(yīng)用中，這種約束會帶來很大方便，避免了人眼或定位設(shè)備帶來的誤差，可以應(yīng)用于印刷線路板或大規(guī)模集成電路的設(shè)計,引力場,圖77 引力場,7.3.2 拖拽,當要把一個對象放到一個新的位置時，如果不是簡單地用光標指定新位置的點，而是隨著鼠標器引導(dǎo)光標移動的同時對象也跟著被拖動到新的

18、位置，這會使用戶感到更直觀，從而使得對象的定位更為恰當.,,,拖拽技術(shù)是當前人機交互中普遍使用的技術(shù)，它可以使用戶的操作更直觀，定位更精確.拖動有時耗費很大，尤其當圖像很大或圖形很復(fù)雜時，拖拽可能變的很慢。,拖拽,圖形模式 將一個圖形由一個位置移動到另一個位置,在移動的軌跡上按特定的象素操作模式(如異或方式)進行圖形的重新繪制：在屏幕上用異或的模式畫圖形，然后再用異或的模式，在相同的位置重新畫一次此圖形，則會在屏幕上擦掉上

19、次所繪制的內(nèi)容。這樣,拖動的圖形不會破壞它掃過軌跡上的圖形。圖像模式 當一個圖形由一個位置移動到一個新的位置時,實際上是進行了圖像的整體移動.即首先保存目的坐標處拖動圖像大小范圍的屏幕圖像，然后將被拖動的圖像移動到該位置，當拖動圖像離開該位置而移動到下一個新位置時，再恢復(fù)該位置處保存的屏幕圖像。,拖拽,橡皮筋 例如要畫一條直線，先用鼠標確定起始位置，然后鼠標在屏幕上來回移動時，我們會發(fā)現(xiàn)，這條直線就像橡皮筋一樣，隨著

20、鼠標在屏幕中的位置，長短和終點都隨之變化。,拖拽,單擊右鍵play,7.3.3 在三視圖上作三維輸入,輸入一個立體圖時，常常是將點、線、面單獨輸入的。而對一個點、一條線或一個面來說，只要在三視圖上給出足夠的信息，總是可以唯一地確定它在三維空間中的對應(yīng)圖形。例如輸入一個點時，只要在任意兩個視圖中確定點的位置,便可唯一地確定三維空間中的一個點的坐標（x，y，z）.,7.3.3 在三視圖上作三維輸入,在三視圖上輸入直線段上兩端點便確定了

21、三維空間的一條直線.把一個面上的各頂點在三視圖上輸入后，就唯一地確定了三維空間中的一個面。如果把一個多面體的各面均用上述方法輸入，也就在三維空間中輸入了一個多面體。用三視圖來輸入立體圖是目前一種主要的輸入手段.,7.4 OpenGL中的交互式繪圖技術(shù),,7.4.1 選擇,在OpenGL中，使用GLint glRenderMode（GLenum mode）來選擇不同的模式選擇模式用來判斷哪些圖元被繪制在窗口的某個區(qū)域。

22、選擇操作通過返回一個整型名稱數(shù)組來工作，這個數(shù)組里存放了名稱堆棧（棧中存放圖元的名稱），由函數(shù)glSelectBuffer()來提供。,,一旦圖元與拾取區(qū)域相交，將有一個選擇命中記錄產(chǎn)生。該命中記錄將被寫入函數(shù)glSelectBuffer提供的選擇數(shù)組中。拾取區(qū)域是由gluPickMatrix()指定的。樣例：,,7.4.2反饋,場景渲染的信息被存入反饋數(shù)組中，不往屏幕輸出在反饋數(shù)組中的每組數(shù)據(jù)均有一個標記，該標記說明了圖元的類型，

23、接著是描述圖元的頂點坐標值，顏色和紋理等相關(guān)數(shù)據(jù)。在退出反饋模式時，這些數(shù)據(jù)就被寫入到反饋數(shù)組中,,樣例程序,7.5 人機交互的發(fā)展,,,,,,,新的人機交互技術(shù),多媒體技術(shù)的支持,多媒體技術(shù)示例,多通道交互,人向計算機傳送信息的常用表達方式是利用手敲擊鍵盤或點擊鼠標進行。這樣用戶到計算機的輸入帶寬與計算機到用戶的輸出帶寬產(chǎn)生了不平衡，用戶的輸入帶寬低于計算機的輸出帶寬。提出了多通道人機交互的觀點，即在同一時刻用戶可以采用多個

24、通道與計算機進行交互，以提高人機交互的效率和自然性當一個通道由于設(shè)備故障或環(huán)境限制等原因不能使用時，用戶可以選擇其他通道，使交互、繼續(xù)下去。,多通道交互示例,自然語言接口,自然語言的理解,三維交互,三維交互技術(shù)采用有六個自由度的輸入設(shè)備，即沿X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn),常見的三維設(shè)備有跟蹤球、數(shù)據(jù)手套、三維探針、三維鼠標和三維操縱桿等.,3維交互設(shè)備,計算機支持的協(xié)同工作（CSCW）,計算機支持協(xié)同工作（Comput

25、er Supported Cooperative Work，CSCW）系統(tǒng)很好地適應(yīng)了社會信息化、經(jīng)濟全球化和知識經(jīng)濟時代的特點以及諸如交互性、分布性和協(xié)同性等要求.其應(yīng)用領(lǐng)域非常廣泛，如協(xié)同編輯、電子會議、工業(yè)應(yīng)用、科學(xué)協(xié)作、遠程教學(xué)、遠程醫(yī)療等。,CSCW示例,觸覺交互,,觸覺交互已成為人機交互領(lǐng)域的最新技術(shù)，其可借助人的觸感，產(chǎn)生一種虛擬現(xiàn)實的效果。觸碰可以產(chǎn)生多種不同的感受，包括輕碰、重碰、壓力、疼痛、顫動、熱和冷，因此人工模

26、擬這些感受的方式也各異。　　觸覺交互技術(shù)已經(jīng)開辟了多種可能的應(yīng)用領(lǐng)域，包括虛擬現(xiàn)實、遙控機器人、遠程醫(yī)療、工作培訓(xùn)、基于觸覺的三維模型設(shè)計等。而在電子商務(wù)方面， 觸覺交互也能夠發(fā)揮重要作用。比如，顧客在網(wǎng)上購買服裝之前，可以先感知一下衣料的質(zhì)地，然后再做決定。,TPTA（telepresence and teleaction）,TPTA系統(tǒng)可以使人沉浸到遙遠的人跡罕至或者虛擬的環(huán)境中。TPTA系統(tǒng)的應(yīng)用領(lǐng)域很廣泛，比如水下空間遙控操作

27、，遠程診斷、治療和娛樂游戲等。一個典型的觸覺遠程呈現(xiàn)系統(tǒng)如圖1所示，理想情況下，OP通過TPTA系統(tǒng)可以真實感受到與遠程環(huán)境交互的過程，即實現(xiàn)完全沉浸感。,圖 TPTA系統(tǒng)概要示意圖[W. Ferrell and T. Sheridan, “Supervisory control of remote manipulation,” IEEE Spectr., vol. 4, no. 10, pp. 81–88, Oct. 1967. ],