基于智能視頻的虛擬現實體驗系統(tǒng)研究與實現.pdf

1、隨著虛擬現實技術的不斷發(fā)展和顯示技術的不斷成熟，運用虛擬現實技術進行沉浸式體驗仿真虛擬環(huán)境的應用已經不僅僅局限在軍事、醫(yī)學和電影制作等專業(yè)領域，而是越來越多的出現在大眾消費者面前，應用到人們的生活之中。而虛擬現實中的人機交互方式和虛擬場景的呈現效果是虛擬現實體驗中最重要的兩個方面，如何為虛擬現實應用提供良好的人機交互方式和如何提高虛擬現實場景的最終呈現效果也成為重要的研究方向。
　　本論文以虛擬家居體驗體驗系統(tǒng)為應用背景，分析在虛

2、擬現實環(huán)境下對于虛擬現實體驗系統(tǒng)的功能和性能需求，提出了使用Kinect作為視頻采集設備通過深度信息提取用戶體感操作動作實現體感控制的虛擬現實人機交互方案，使用Unity3D游戲引擎構建虛擬現實場景并通過定義著色器改善場景渲染效果，同時配合Oculus Rift DK2完成沉浸式立體化場景呈現。
　　在人機交互模塊，本論文利用智能視頻的方法使用微軟的Kinect配合開放自然交互框架Kinect for Microsoft SDK獲

3、取深度信息通過提取控制者虛擬人體關節(jié)節(jié)點的位置來獲取用戶的身體動作。為了提高體感操作的動作識別準確度，本論文對比了三種不同的動作識別算法，最終選中基于關節(jié)點角度測量的動作識別算法。并針對在關節(jié)點角度測量中由于關節(jié)點空間位置不穩(wěn)定造成測量誤差增大的缺陷進行了改進，以降低角度測量誤差從而提高動作識別準確度。
　　為了提高人體關節(jié)節(jié)點檢測準確度，本論文在動作識別開始之前引入初始化過程，讀取操作者的關節(jié)點間距作為標準值，并結合人體關節(jié)活動

4、特性對動作識別過程中關節(jié)點測量結果進行可靠性檢測，設置節(jié)點可靠度。同時在關節(jié)點檢測過程中引入卡爾曼濾波算法來降低噪聲和干擾的影響，并根據當前幀該關節(jié)點的可靠度動態(tài)設置卡爾曼濾波中預測值和觀測值的權重。
　　在場景渲染方面，為了改善虛擬場景渲染的效果增加體驗真實感，本論文通過自定義著色器控制渲染過程，模擬現實世界中在鏡面反射和物體表面凹凸漫反射的光學過程實現了針對鏡面和凹凸表面的著色器，大大提高鏡面反射和凹凸漫反射的顯示效果。同時在