虛擬現(xiàn)實的基本概念

1、虛擬現(xiàn)實技術,主講：楊文暉,課程的主要內容,虛擬現(xiàn)實與系統(tǒng)仿真的基本概念和術語 虛擬現(xiàn)實與系統(tǒng)仿真的基礎方法 虛擬現(xiàn)實有關的人的因素，虛擬現(xiàn)實的接口設備和計算機設備 虛擬現(xiàn)實的建模技術 虛擬現(xiàn)實的應用,相關知識背景,虛擬現(xiàn)實技術學習的知識背景是什么樣的？ 計算機原理、體系結構、操作系統(tǒng)、網絡、軟件工程、程序設計、數(shù)據結構、電子學、圖形學與CAD、系統(tǒng)分析、人工智能,虛擬現(xiàn)實概述虛擬現(xiàn)實的接口設備

2、虛擬現(xiàn)實的計算機技術虛擬現(xiàn)實的建模和仿真技術虛擬現(xiàn)實的應用,課程目錄,學習重點和難點,虛擬現(xiàn)實的基本概念；人的視覺系統(tǒng)和虛擬現(xiàn)實的視覺顯示技術；各類位姿跟蹤系統(tǒng)的技術；力覺和觸覺反饋技術；虛擬現(xiàn)實的計算機系統(tǒng)；虛擬現(xiàn)實的工具軟件系統(tǒng)；分布式虛擬現(xiàn)實系統(tǒng)。,第一章 虛擬現(xiàn)實概述,◇課前索引◇第一節(jié)　虛擬現(xiàn)實的基本概念◇第二節(jié)　虛擬現(xiàn)實有關的人的因素◇章節(jié)小結◇課后習題,課前索引,兩個問題1．什么是虛擬現(xiàn)實？2．

3、虛擬現(xiàn)實與人有什么關系？,,點擊觀看VRML演示,第一節(jié) 虛擬現(xiàn)實的基本概念,虛擬現(xiàn)實的概念有關的其它概念虛擬現(xiàn)實的特點虛擬現(xiàn)實的應用領域虛擬現(xiàn)實的技術,1 虛擬現(xiàn)實,虛擬現(xiàn)實這個概念最早是由誰在什么時間提出的？1989年，美國VPL Research公司創(chuàng)始人Jaron Lanier提出了“Virtual Reality”（虛擬現(xiàn)實）的概念。如何理解“虛擬”這個詞？“Virtual”說明，這個世界或環(huán)境是虛擬的，不是真實

4、的。這個世界或環(huán)境是人工構造的，是存在于計算機內部的。用戶應該能夠“進入”這個虛擬的環(huán)境中。所謂“進入”這個虛擬的環(huán)境中，是指用戶以自然的方式與這個環(huán)境交互如何理解“交互”這個詞？包括感知環(huán)境并干預環(huán)境，從而產生置身于相應的真實環(huán)境中的虛幻感，沉浸感，身臨其境的感覺。虛擬現(xiàn)實或虛擬環(huán)境系統(tǒng)包括哪些？包括人類操作者、人機接口和計算機,,,問題,請給出正確與錯誤的判別使用虛擬現(xiàn)實系統(tǒng)的標志就是使用頭盔式立體顯示器和數(shù)據手套。虛

5、擬現(xiàn)實系統(tǒng)應用最多的專用設備是頭盔式立體顯示器和數(shù)據手套。于是，有人以使用這些專用設備為虛擬現(xiàn)實系統(tǒng)的標志。這種觀點是不準確的。頭盔式立體顯示器和數(shù)據手套等設備，只是當前已經實現(xiàn)的一部分虛擬顯示設備。它們還很不完善。例如，頭盔的視場，分辨率，造成眩暈等問題還有待解決。聽覺接口和力覺接口等設備還在研究，應用還不多。味覺，嗅覺，運動覺等技術，還缺乏研究。,關于虛擬仿真,虛擬現(xiàn)實系統(tǒng)中的虛擬環(huán)境，都是現(xiàn)實世界不存在的場景嗎？不是，可能有下

6、列幾種情況：第一種情況是模仿真實世界中的環(huán)境。例如，建筑物，武器系統(tǒng)，或戰(zhàn)場環(huán)境。這種真實環(huán)境，可能是已經存在的，也可能是已經設計好但還沒有建成的。 為了逼真地模仿真實世界中的環(huán)境，要求逼真地建立幾何模型和物理模型。環(huán)境的動態(tài)應符合物理規(guī)律。這一類虛擬現(xiàn)實系統(tǒng)的功能，實際是系統(tǒng)仿真。,,點擊觀看居室環(huán)境的仿真和漫游例子,2 和虛擬現(xiàn)實有關的幾個概念,虛擬環(huán)境( Virtual Environment )系統(tǒng)或虛擬現(xiàn)實( Virt

7、ual Reality )系統(tǒng)包括人類操作者、人機接口和計算機遙操作( Teleoperator )系統(tǒng)包括人類操作者、人機接口和遙機器人增強現(xiàn)實( Augmented Reality )系統(tǒng)組合了虛擬環(huán)境和真實環(huán)境合成環(huán)境( Synthetic Environment )系統(tǒng)是遙操作系統(tǒng)、虛擬環(huán)境系統(tǒng)、增強現(xiàn)實系統(tǒng)等的總稱。,關于虛擬現(xiàn)實系統(tǒng),對于虛擬現(xiàn)實系統(tǒng)，與用戶交互的環(huán)境實際是人工構造的，存在于計算機內部的環(huán)境。這

8、種虛擬的環(huán)境，可能有幾種情況：一種情況是真實環(huán)境的仿真。例如，仿真真實建筑物的虛擬建筑物。這種真實建筑物可能是已經建成的，也可能是已經設計好但尚未建成的。一種情況是完全虛擬的人造環(huán)境。例如在虛擬風洞中，借助可視化技術構造的虛擬風洞環(huán)境。又如在三維動畫中，人工構造的虛擬環(huán)境。,關于遙操作系統(tǒng),為什么要針對虛擬現(xiàn)實系統(tǒng)提出這么多概念？概念之間的區(qū)別？這些概念之間的區(qū)別在于與用戶交互的環(huán)境不同。虛擬現(xiàn)實系統(tǒng)的環(huán)境是怎樣的？真實環(huán)

9、境的仿真完全虛擬的人造環(huán)境,,遙操作系統(tǒng)的環(huán)境是怎樣的？對于遙操作系統(tǒng)，與用戶交互的環(huán)境實際是在遠地的一個真實的環(huán)境。用戶通過類似虛擬現(xiàn)實系統(tǒng)的人機接口，與遠處的真實環(huán)境交互。也就是看到真實環(huán)境的場景，聽到真實環(huán)境的聲音，感到與環(huán)境中物體的接觸。遙操作系統(tǒng)實際上是高級的遙控系統(tǒng)，是采用了先進的虛擬現(xiàn)實技術的遙控系統(tǒng)。,3 虛擬現(xiàn)實的特點,基于虛擬現(xiàn)實的基本概念，可以得到虛擬現(xiàn)實的下列三個特點。1．人機接口的內容計算機提

10、供“環(huán)境”, 不是“數(shù)據, 信息”。這改變了人機接口的內容。2．人機接口的形式操作者由視覺,聽覺,力覺感知環(huán)境, 由自然的動作操作環(huán)境, 不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式。3．人機接口的效果逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果。,人機接口內容的改變,計算機提供“環(huán)境”, 不是“數(shù)據, 信息”。這改變了人機接口的內容。虛擬現(xiàn)實的這個特點體現(xiàn)了計算機應用的新方向。計算機

11、的名稱體現(xiàn)了它的最早應用是計算。當時，計算機和用戶交互的是計算有關的數(shù)值。此后，計算機擴大到處理數(shù)值，字符串，文本等各類數(shù)據。以后，計算機更擴大到處理圖像，圖形，聲音，語言等多種媒體的信息。虛擬現(xiàn)實系統(tǒng)則以環(huán)境為計算機處理的對象和人機交互的內容。這開拓了計算機應用的新思路。,數(shù)值--------各類數(shù)據---------多媒體信息---------環(huán)境,人機接口的內容的變化：,,人機接口的形式的改變,操作者由視覺,聽覺,力覺感知環(huán)

12、境, 由自然的動作操作環(huán)境, 不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式這個特點體現(xiàn)了計算機人機接口的新方向。至今為止的計算機人機接口都是面向機器的。人機接口有哪些？終端，鍵盤，鼠標，打印機等接口設備，都是適應計算機的專用設備。這些設備很好地完成了各類數(shù)據和多媒體信息的交互。,,虛擬現(xiàn)實中的人機接口，則是面向用戶的。虛擬現(xiàn)實系統(tǒng)中，用戶以自然的方式與虛擬環(huán)境交互。如何理解自然的方式呢？所謂自然的方式，是指用戶

13、通過視覺，聽覺，觸覺等感覺虛擬環(huán)境，使用戶產生在真實環(huán)境中的幻覺。同時，用戶通過在真實環(huán)境中的行為，去干預虛擬環(huán)境。于是，虛擬現(xiàn)實的人機接口設備，完全不同于現(xiàn)有計算機的人機接口設備。這也是虛擬現(xiàn)實技術中最有特色的內容。,人機接口的效果的改變,逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果這個特點體現(xiàn)了計算機人機接口的新要求。用戶通過人機接口與虛擬環(huán)境交互的結果，是使用戶產生身臨其境的虛幻感，沉浸感。,,虛擬現(xiàn)

14、實的概念中有三個I：（1）Immersion(沉浸)，是指逼真的，身臨其境的感覺。（2）Interaction(交互)，是指用戶感知與操作環(huán)境（3）Imagination(想象)，是指創(chuàng)造性。,4 虛擬現(xiàn)實的應用領域,1．娛樂2．國防3．設計、制造和銷售4．醫(yī)療和健康5．危險操作6．訓練7．教育8．信息可視化9．遠程交往與遠程游歷,,關于“超越時空的紫禁城”,,“故宮博物院與IBM合作的文化遺產項目———“超越時空

15、的紫禁城”正式啟動。這一為期兩年的合作項目旨在創(chuàng)建一個在線的虛擬復制的紫禁城，將運用全球領先的觀眾互動體驗系統(tǒng)和實時高科技手段，把故宮本身及其散布于各處的文物集中展示在一個三維的網上“紫禁城”里?！?5 虛擬現(xiàn)實的技術,1．VR的人機接口2．VR的計算機系統(tǒng)3．VR的建模和仿真,VR的人機接口,VR的人機接口的作用是什么？其一是給人類操作者提供環(huán)境信息通過什么方式提供環(huán)境信息？視覺、聽覺和觸覺包括哪些通道接口？視覺通道、聽

16、覺通道、觸覺通道、運動接口和其他接口其二是感覺人類操作者的動作和響應通過哪些方式來實現(xiàn)？位置跟蹤和映射，語音識別等。,（1）位置跟蹤和映射,“位置跟蹤和映射”如何感覺人類操作者的動作和相應？測量人體各部位的位置和姿態(tài)分析判斷人面部的表情“位置跟蹤和映射”它的目的是什么？了解人的身體行為這是為了實現(xiàn)人機交互所必需的系統(tǒng)功能。VR系統(tǒng)由此了解人的行為，然后做出適當?shù)捻憫?，實現(xiàn)交互。,,“位置跟蹤和映射”要完成的基本目標有哪些

17、？基本目標是精確完成位置和姿態(tài)的測量。三個主要的要求：大范圍的線性響應高帶寬（1kHz）允許頭和身體的運動?！拔恢酶櫤陀成洹背Ｓ玫募夹g包括：機械鏈接磁傳感器聲傳感器光傳感器慣性傳感器,（2）視覺通道,視覺通道的作用是什么？ 給人的視覺系統(tǒng)提供圖形顯示。為了提供身臨其境的逼真感覺，視覺通道應該滿足的要求有哪些？顯示的像素應該足夠小，使人不至于感覺到像素的不連續(xù)顯示的頻率應該足夠高，使人不至于感覺到畫面的

18、不連續(xù)給兩眼提供具有雙目視差的圖形，形成立體視覺。應該具有足夠大的視場，理想情況是顯示畫面充滿整個視場。,,視覺通道的顯示表面目前有哪些種類？基于CRT基于LCD。視覺通道的光學系統(tǒng)有哪些種類？頭盔顯示(HMD)非頭盔顯示(OHD),專用頭盔圖,,（3） 聽覺通道,聽覺通道的作用是什么？給人的聽覺系統(tǒng)提供聲音顯示。為了提供身臨其境的逼真感覺，聽覺通道應該滿足哪些要求？使人感覺置身于立體的聲場之中能識別聲音的類型

19、和強度能判定聲源的位置。,,聽覺通道的關鍵技術有哪些？合成由接口提供的虛擬聲音信號聲音在虛擬空間定位問題發(fā)聲設備。,（4） 觸覺通道,觸覺通道的作用是什么？給人體表面提供觸覺和力覺。當人體在虛擬空間中運動時，如果接觸到虛擬物體，虛擬顯示系統(tǒng)應該給人提供這種觸覺和力覺。觸覺通道涉及操作以及感覺包括哪些？觸覺反饋力覺反饋。觸覺通道的設備分類？安裝在身體上的設備安裝在地面的設備。,（5） 運動接口,人體在環(huán)境中的運動是

20、如何分類的？身體的被動運動如在車上的運動身體主動運動漫游，如散步。人在運動中，人體內部的運動感覺器官可以感知運動信息。感知運動信息的器官有哪些？前庭系統(tǒng)運動系統(tǒng)視覺聽覺系統(tǒng)本體感受，動覺和觸覺,,運動接口的作用是什么？應該給這些器官提供運動信息。,（6） 其它類型接口,還有那些其它類型接口？嗅覺、味覺通道感覺熱、風及濕度的接口還包括語音通訊（語音識別與合成）以及直接心理感覺和控制。其他類型的接口的研究現(xiàn)狀？

21、目前還缺乏研究,2．VR的計算機系統(tǒng),現(xiàn)有的虛擬現(xiàn)實系統(tǒng)，主要的通道是什么？　　現(xiàn)有的虛擬系統(tǒng)現(xiàn)實主要考慮視覺通道。聽覺通道和觸覺通道還處于研究階段。VR的計算機系統(tǒng)主要考慮的通道是什么？所以，VR的計算機系統(tǒng)主要考慮視覺通道的要求。,VR的計算機系統(tǒng)的視覺通道,（1） 視覺通道對計算機系統(tǒng)硬件的要求 首先是要求維持足夠的圖形幀速率這要求在指定的時間內（約為0.1秒）計算出兩眼的兩幅圖像。同時要求提供足夠好質量的圖像

22、這一般體現(xiàn)在圖像中顯示的多邊形或三角形的數(shù)目。因此，往往需要專用硬件。圖形硬件應提供快速幾何變換、截取、消隱、多邊形填充和表面紋理等多項處理。,,（2）視覺通道對計算機系統(tǒng)軟件的要求VR系統(tǒng)中的軟件主要包括下列幾種：交互軟件：利用人機控制設備的輸出去修改VE。視覺漫游軟件：控制用戶在VE中運動時看到的場景。建模軟件：定義虛擬物體形狀、外觀和屬性的模型。操作系統(tǒng)支持VE的實時多模態(tài)要求。,,（3）視覺通道對計算機系統(tǒng)網

23、絡的要求分布式交互仿真分布式交互仿真已經成為現(xiàn)代仿真技術，特別是軍事仿真的潮流。通訊網絡可以把VE轉換成共享的分布式計算環(huán)境。,3．VR的建模和仿真,（1） VR的建模包括：幾何建模和物理建模VR的幾何建模一般的VR工具軟件都具有幾何建模功能。利用現(xiàn)有的CAD建模工具也是常用的方法。市場上已有商業(yè)模型庫出售。對實際物體的建模，則采用激光掃描等專用設備。VR的物理建模物理建模是基于物理方程的建模。一般考慮剛體建模，

24、鏈接物體的建模，以及非剛體的建模。智能體建模不是基于物理方程，而是基于人為的物體智能,思考題,什么是剛體？在任何力的作用下，體積和形狀都不發(fā)生改變的物體叫做“剛體”(Rigid body)。它是力學中的一個科學抽象概念，即理想模型。事實上任何物體受到外力，不可能不改變形狀。實際物體都不是真正的剛體。若物體本身的變化不影響整個運動過程，為使被研究的問題簡化，可將該物體當作剛體來處理而忽略物體的體積和形狀，這樣所得結果仍與實際情況相當符

25、合。例如，物理天平的橫梁處于平衡狀態(tài)，橫梁在力的作用下產生的形變很小，各力矩的大小都幾乎不變。對于形變，實際是存在的，但可不予考慮。為此在研究天平橫梁平衡的問題時，可將橫梁當作剛體。,,什么是智能體？智能體，顧名思義：就是具有智能的實體，英文名是Agent.智能體是人工智能領域中一個很重要的概念。任何獨立的能夠思想并可以同環(huán)境交互的實體都可以抽象為智能體。可以看作是能夠通過傳感器感知其環(huán)境，并借助于執(zhí)行器作用于該環(huán)境的任何事物。

26、例如對于人Agent，其傳感器為眼睛耳朵和其他感官，其執(zhí)行器為手、腿、嘴和身體的其他部分。對于軟件Agent，則同過編碼位的字符串進行感知和作用。,3．VR的建模和仿真,（2）仿真仿真包括：圖形繪制和三維動畫。 圖形繪制是把三維環(huán)境，相對于虛擬攝像機（虛擬視點）投影，形成圖像的過程。圖形繪制要求為了提供連續(xù)運動的錯覺，幀速率必須大于每秒8到10幀。為了保持瞬間交互控制的錯覺，響應時間的延遲必須小于0.1秒。為了繪制人眼可分

27、辨的所有細節(jié)，這要求有8千萬個多邊形。然而，用今天的硬件，每個畫面8千萬多邊形的系統(tǒng)對真正的實時交互是太慢了，于是存在真實圖像與實時交互間的折衷。某些應用（如建筑和藝術）可能要求照片一樣真實的繪制。制造和醫(yī)療應用要求更高層次的實時交互。,,（2）仿真仿真包括：圖形繪制和三維動畫。 三維動畫可以用兩種途徑實現(xiàn):1：基于物理模型的數(shù)值計算。屬于滿足物理規(guī)律的仿真技術，用于軍事和工業(yè)等方面。2：數(shù)學插值。這種技術在三維動畫電影

28、中獲得了巨大的成功。,虛擬現(xiàn)實開發(fā)系統(tǒng)的方塊圖,,用戶通過輸入輸出設備與輸入輸出軟件交互。輸入軟件通過形狀編輯器完成幾何建模，通過聲音編輯器完成虛擬聲音系統(tǒng)建模。然后，在世界編輯器完成虛擬環(huán)境的建模。其中的虛擬剪切器，用于模型的剪切。建立的模型，保存在虛擬世界中。整個工作在計算機系統(tǒng)中完成,第二節(jié) 虛擬現(xiàn)實有關的人的因素,為什么要討論人的因素？計算機，接口和用戶是VR系統(tǒng)中的三個組成部分。接口設計必須考慮人的因素，人的因素與VR系統(tǒng)性

29、能直接相關。虛擬現(xiàn)實中有關的人的因素具體有哪些方面？人眼人耳身體感覺,虛擬現(xiàn)實有關的人的因素----人眼,1．視覺生理結構2．立體視覺 3．屈光度4．瞳孔5．分辨力6．明暗適應7．周圍視覺和中央視覺8．視覺暫留9．視場,,1．視覺生理結構 　　大腦皮層（Cerebral Cortex）是大腦半球的最外層，它負責各種形式的感覺。視網膜（Retina）是在每只眼背部的神經細胞的多層膜，它把光轉成電信號，并通過視神經

30、和管道傳給大腦?！　∠聢D表示，視網膜的解剖圖。圖中顯示了層，管道和神經。,,光感受器（Photoreceptor）是每只眼睛視網膜中1.25億個神經細胞中的一部分，它在受到特定波長的光的刺激時，會發(fā)出電信號。視網膜是眼的光敏層，幾百微米厚，有10層。光線通過其中8層，被另外兩層的視桿細胞和視錐細胞的光接收器（Photoreceptor）吸收。每只眼的視網膜上有1.25億個神經細胞。脊椎動物有兩種光感受器，：視桿細胞（rods）負責低分

31、辨率的、單色的、夜間的視覺。視錐細胞（cones）負責高分辨率的、彩色的、白天的視覺。它花費25ms把光轉成電信號，再送給大腦?！　∮覉D表示，視網膜內光感受器的解剖圖。圖中桿狀細胞和錐狀細胞在上部，通向大腦的視神經纖維在下部。,,2．立體視覺 視覺的另一個重要因素是立體視覺能力。提供給人類視覺的圖像，必須使人感覺是立體的。這樣，觀看者的視覺系統(tǒng)就可以計算出被看物體的遠近。對同一個場景，兩眼得到稍有差別的視圖。左視區(qū)的信息，送到兩眼視

32、網膜的右側。在視交叉處，左眼的一半神經纖維交叉到大腦的右半球，左眼的另一半神經纖維不交叉，直接到大腦的左半球。這樣，兩眼得到的左視區(qū)的所有信息，都送到右半球。 右圖表示，人類立體視覺的原理圖。HMD（頭盔顯示器）提供兩個顯示，不但應保持雙目視差，而且應該重疊。實際上,由于兩眼有6.5cm的瞳距，所以兩者視場總有些差別,有不重疊的區(qū)域。對中央凹區(qū)域，深度感在150m時減弱。對周圍視覺，深度感在100m減弱。而在這個距離上，雙目視差不

33、是最有用的，運動視差和透視可能更有用。,,3．屈光度與眼的光學部分有關的一個度量是"屈光度" （dioptre）。有1個屈光度的鏡頭，可以聚焦平行光線在1米距離。人眼的聚焦能力約60屈光度，這表明聚焦平行光在17mm距離，這就是眼球尺寸，是晶狀體和視網膜的距離。年青人可以連續(xù)改變14個屈光度，這稱為調節(jié)或聚焦。這保證對遠近物體都能看到清晰的圖像。年長后調節(jié)能力減弱，50歲時調節(jié)能力2個屈光度，70歲時調節(jié)能力0個

34、屈光度。在注視運動物體時，自動調節(jié)屈光度。調節(jié)作用保證某個距離的物體清晰，而其它距離物體模糊。這起了濾波器的作用，使人集中關注視場中部分區(qū)域。在HMD中沒有調節(jié)，2個圖像都是聚焦在2到3米距離。,,4．瞳孔瞳孔是晶狀體前的孔，直徑可變化，由1.5mm到8mm。面積之比1:30。瞳孔作用有三個：(a) 放大時可增加眼的敏感；(b) 縮小時可增加近視覺的視距；(c) 縮小時可限制入射光在光學效果最好的中心區(qū)。 5．分辨力分辨力是人眼

35、區(qū)分兩個點的能力，限于10m距離上約1.5-2mm。例如在2m的距離觀看寬度400mm的電視。人眼區(qū)分兩個點的能力，在2m距離上約0.4mm。則寬度400mm上應該由1000個0.4mm大小的像素。計算機監(jiān)視器和高清晰度電視機，都達到了這樣的分辨率。,,6．明暗適應眼對亮度的感覺可以自動調節(jié)，這是通過改變在視桿和視錐細胞中光敏化合物的濃度。例如從亮處進入暗室時的現(xiàn)象，稱為暗適應，花費約40分。亮適應是從暗室進入陽光下時的現(xiàn)象，這種適應

36、的強度變化在25000倍。視桿細胞適應時間約1小時，視錐細胞適應時間約幾分鐘。 7．周圍視覺和中央視覺視網膜不僅是被動的光敏表面。通過視桿和視錐細胞與神經細胞的連接，它還有一定的圖像處理。中央凹是視網膜中央部分，在光軸與視網膜焦點附近，直徑約1mm，有高密度視錐細胞。中央凹區(qū)域的視覺稱為中央視覺。中央視覺是高分辨率部分，有彩色的、白天的視覺。視網膜周圍區(qū)域包含視桿和視錐細胞。視網膜周圍區(qū)域的視覺稱為周圍視覺。這些神經細胞對光強的變化

37、敏感，它幫助我們注意運動物體。周圍視覺雖然分辨率低，是單色的、夜間的視覺，但敏感運動物體。,,8．視覺暫留視覺暫留是視網膜的電化學現(xiàn)象造成視覺的反應時間。當觀看很短的光脈沖時，視桿細胞得到約0.25s 的峰，視錐細胞快4倍，得到約0.04s的峰。這種現(xiàn)象造成視覺暫留,,現(xiàn)有的VR技術，是否對以上8個人眼的因素都考慮到了？人眼的八個因素：視覺生理結構、立體視覺、屈光度、瞳孔、分辨力、明暗適應、周圍視覺和中央視覺、視覺暫留、視場 現(xiàn)

38、有的VR系統(tǒng)中，已經考慮的因素包括：立體視覺，分辨力，視覺暫留，以及視場。其他因素還沒有充分考慮到。,虛擬現(xiàn)實有關的人的因素----人耳,1．聲音2．聲音感覺3．頻率范圍4．聲強5．聲音方向6．聲音舞臺7．頭部有關的傳遞函數(shù),,1．聲音　　音速在空氣中，0℃時331m/s，20℃時344m/s。在海水中，1℃時音速1453m/s。在鑄鐵棒中，音速3500m/s?！　《牭降念l率范圍約20Hz到20kHz。隨年歲增加，頻

39、率范圍縮小，特別是高頻段?！　】紤]音速344m/s。 20Hz的波長17.2m, 1kHz的波長34.4cm, 10kHz的波長 3.44cm。人耳的尺寸約7cm，這是5kHz的波長。這說明耳會影響這種頻率聲音的收集。人的身體也會與聲波交互，這也會影響聲音的質量。這類似音樂廳中的音響效果。,,2．聲音感覺　　耳分為外耳、中耳、內耳。外耳把聲音引導進內耳，它也作為濾波器而改變聲音。把手放在耳前面，就會感到聲音變化。聲音最終沖擊耳膜，使

40、之振動。耳膜振動再傳到耳蝸，并且振動加大20倍。,,3．頻率范圍　　耳蝸有3個螺旋管，被2個膜片分開，Reissner膜和耳底膜。振動會刺激耳底膜上的2萬到3萬個硬毛，并產生電信號傳給大腦。耳底膜有識別頻率的機制。高頻振動刺激膜的開始部分，中頻振動刺激膜的中間部分，低頻振動刺激膜的遠端部分。,,4．聲強聲強影響到耳底膜的振幅，直接轉成毛細胞的刺激。5．聲音方向一般認為，人腦識別聲源位置，是利用兩耳收到的聲音的時間差和聲音幅度差。

41、當人面對聲源時，兩耳的聲強和路徑相等。當人向左轉以后，右耳聲音比左耳強，且更早聽到。若兩耳路徑之差為20cm，則時間差0.6ms。6．聲音舞臺如果用一對麥克風記錄立體聲音，就可以重現(xiàn)聲音舞臺，它有寬度和深度。,,7．頭部有關的傳遞函數(shù)　　在聽耳機時，每個耳只聽一個發(fā)聲器的聲音。當然一個耳中的聲音，也會經頭部傳給另一耳。在聽揚聲器時，每個耳都分別聽到兩個揚聲器的聲音。　　1974年Plenge認為，進入耳的聲音的形式，會產生外部的

42、聲音舞臺的感覺。對于耳機（特別是插入式耳塞），感覺的聲音舞臺是內部的。如果驅動耳機的左右通道可以由電子設備構成聲音，則人會感覺聲音有外部的真實性。為此要求知道聲音的形狀，或由聲源到耳內部的傳遞函數(shù)。這個由聲源到耳內部的傳遞函數(shù)稱為"頭部有關的傳遞函數(shù)" (Head-related transfer functions, HRTF)，它反映頭和耳對傳聲的影響，不同的人有不同的HRTF。　　HRTF的測量方法如下。對空

43、間每個位置的聲源，安放在耳中接近耳膜的小麥克風測量收到的信號。信號經過處理，補償非線性頻率響應。由此得到HRTF。,,現(xiàn)有的VR系統(tǒng)中，已經考慮的人耳的因素有哪些？現(xiàn)有的VR系統(tǒng)中，已經考慮的因素包括：聲音方向，聲音舞臺，以及頭部有關的傳遞函數(shù)。其他因素還沒有充分考慮到。,虛擬現(xiàn)實有關的人的因素----身體感覺,在VR環(huán)境中，我們說的身體感覺，主要是對哪些事物的感覺？感覺表面粗糙、振動、運動、位置、壓力、疼痛和溫度。現(xiàn)有的VR系統(tǒng)

44、中，已經考慮了觸覺和力覺顯示。但是有關的技術細節(jié)還沒有充分考慮到。,,按身體不同部位，身體感覺可分四類。(a)深部感覺它提供關節(jié)、骨、腱、肌肉和其它組織的信息，涉及壓力、疼痛和振動。 (b)內臟感覺它提供胸腹腔中的內臟的狀況，主要是疼痛 (c)本體感覺它提供身體的位置，平衡和肌肉感覺。也涉及與其它物體的接觸，如站在地上、躺在床上。本體感覺接受器位于關節(jié)、肌肉和深部組織。(d)外感受感覺它是身體表面的接觸感覺,,VR系統(tǒng)中

45、，對眾多的人的因素是如何考慮的？ 在VR中，某些人的因素明顯被考慮，如HMD中考慮瞳距。另外一些人的因素未明顯考慮，如運動眩暈。Defence Research Agency研究了沉浸感顯示的副作用。有些人認為用HMD看不同遠處物體時，不能用會聚和調節(jié)，使人不適應。有人認為HMD與內瞳距不匹配也使眼疲勞。有人認為眼不是會聚，而是在發(fā)散。有些用戶很敏感運動刺激，如汽車、船、飛機、火車等。有人實驗研究了VR引起運動眩暈問題。在15

46、0個實驗者中，有8人產生強烈眩暈。其它實驗者經歷了20分鐘沉浸環(huán)境。5分后有22%的人眩暈，10分后有32%人眩暈，15分后有40%人眩暈，20分后有45%人眩暈。在沉浸經歷以后5分鐘，還有36%的人眩暈，10分鐘后還有27%的人眩暈。在VR中，具有圖像生成的延遲，視覺和前庭器官信息的時間不同步也造成感覺（視覺與本體感覺）的沖突?？焖偬幚砗陀铚y算法有可能緩解這種不同步。,章內小節(jié),介紹了虛擬現(xiàn)實的概念和有關的人的因素。　　虛擬現(xiàn)實或

47、虛擬環(huán)境是人工構造的，存在于計算機內部的環(huán)境，包括人類操作者、人機接口和計算機。虛擬現(xiàn)實具有三個特點?！　∪说囊曈X問題和聽覺問題，都是和虛擬現(xiàn)實有關的人的因素。,習題,一、 填空題1、 虛擬現(xiàn)實系統(tǒng)的三個部分是 ——————2、 遙操作系統(tǒng)的三個部分是 —————— 3、 增強顯示系統(tǒng)是 —————— 4、 合成顯示系統(tǒng)是 —————— 5、 虛擬現(xiàn)實系統(tǒng)的三個特點是 —————— 6、 虛擬現(xiàn)實系統(tǒng)的三個I是

48、—————— 7、 虛擬現(xiàn)實系統(tǒng)的主要應用領域是 —————— 8、 虛擬現(xiàn)實系統(tǒng)的三個主要技術領域是 —————— 。,,9、 視覺交叉的結果是，腦左半球處理 —————— 10、 人眼的屈光度是 。眼球的焦距是 —————— 11、 人眼的分辨率在10m距離上為 —————— 12、 中央視覺特點是 。主要利用的細胞是 —————— 13、 周圍視覺特點是 。主要利用的細胞是 —————— 14、 確定電

49、影和電視的幀頻應該考慮人眼的 現(xiàn)象—————— 15、 人耳的HRTF的中文名稱是 。其含義是 。其測量方法是 —————— 16、 飛行仿真中，發(fā)生眩暈的原因是——————,,一、 填空題1、 虛擬現(xiàn)實系統(tǒng)的三個部分是人類操作者、人機接口和計算機2、 遙操作系統(tǒng)的三個部分是人類操作者、人機接口和遙機器人 3、 增強顯示系統(tǒng)是組合了虛擬環(huán)境和真實環(huán)境 4、 合成顯示系統(tǒng)是遙操作系統(tǒng)，虛擬環(huán)境系統(tǒng)，增強現(xiàn)實系統(tǒng)等的

50、總稱 5、,,虛擬現(xiàn)實系統(tǒng)的三個特點是計算機提供"環(huán)境", 不是"數(shù)據, 信息"。這改變了人機接口的內容。 2．操作者由視覺,聽覺,力覺感知環(huán)境, 由自然的動作操作環(huán)境, 不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式。 3．逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果。 6、虛擬現(xiàn)實系統(tǒng)的三個I是 Immersion(沉浸)，是指逼真的，身臨其境的感覺

51、。 （2）Interaction(交互)，是指用戶感知與操作環(huán)境。 （3）Imagination(想象)，是指創(chuàng)造性。,,7、 虛擬現(xiàn)實系統(tǒng)的主要應用領域是1.娛樂。2．國防。3．設計、制造和銷售。4．醫(yī)療和健康。5．危險操作。 6．訓練。7．教育。8．信息可視化。9．遠程交往與遠程游歷。 8、 虛擬現(xiàn)實系統(tǒng)的三個主要技術領域是1．VR的人機接口。2．VR的計算機系統(tǒng)。3．VR的建模和仿真。 9、 視覺交叉的結果是，腦左半球處理兩

52、眼得到的右視區(qū)的所有信息10、 人眼的屈光度是 。眼球的焦距是人眼的聚焦能力約60屈光度，這表明聚焦平行光在17mm距離,,11、 人眼的分辨率在10m距離上為約1.5-2mm。 12、 中央視覺特點是中央視覺是高分辨率部分，有彩色的、白天的視覺 。主要利用的細胞是高密度視錐細胞 13、 周圍視覺特點是周圍視覺雖然分辨率低，是單色的、夜間的視覺，但敏感運動物體 。主要利用的細胞是周圍區(qū)域包含視桿和視錐細胞 1

53、4、 確定電影和電視的幀頻應該考慮人眼的 現(xiàn)象視覺暫留,,15、 人耳的HRTF的中文名稱是“頭部有關的傳遞函數(shù)" (Head-related transfer functions, HRTF) 。其含義是由聲源到耳內部的傳遞函數(shù)。對空間每個位置的聲源，安放在耳中接近耳膜的小麥克風測量收到的信號 。其測量方法是信號經過處理，補償非線性頻率響應。由此得到HRTF 16、 飛行仿真中，發(fā)生眩暈的原因是視覺接收人體運動感覺，