Kinect數(shù)據(jù)修復(fù)方法研究及其在立體視頻中的應(yīng)用.pdf

1、遠(yuǎn)程視頻的出現(xiàn)極大地方便了現(xiàn)代人們之間的相互溝通，而立體視覺技術(shù)的發(fā)展使得視頻交流的效果有了很大的上升空間。在Kinect的革命性發(fā)明之后，深度獲取就不那么昂貴了，由 Kinect的數(shù)據(jù)構(gòu)建立體模型，進(jìn)而實現(xiàn)立體視頻會議系統(tǒng)是一種切實可行的方法。但是對于計算機(jī)視覺應(yīng)用來說，由 Kinect捕獲的深度數(shù)據(jù)需要額外的處理來填補(bǔ)丟失的部分，進(jìn)一步講，使用 Kinect數(shù)據(jù)重建三維模型過程中，由于視角的變換，彩色數(shù)據(jù)的缺失也需要在最終顯示前進(jìn)行

2、修補(bǔ)。本文首先研究了 Kinect構(gòu)建立體數(shù)據(jù)的方法；然后針對立體數(shù)據(jù)中各種原因的缺失進(jìn)行修復(fù)，分別用結(jié)構(gòu)導(dǎo)向的框架修復(fù)了深度數(shù)據(jù)以及用快速行進(jìn)的方法修復(fù)了彩色數(shù)據(jù)；最后設(shè)計了一套立體視頻會議系統(tǒng)，并將修復(fù)算法應(yīng)用其中，同時研究了多種加速策略來提高立體視頻的播放幀率。
　　在進(jìn)行深度數(shù)據(jù)的修復(fù)時，因為沒有足夠的信息來對場景結(jié)構(gòu)做出準(zhǔn)確的推斷，針對彩色圖像的傳統(tǒng)修復(fù)方法并不能直接應(yīng)用于深度圖像。本文提出了一種新的結(jié)構(gòu)導(dǎo)向的修復(fù)方法來

3、提高深度圖像的修復(fù)質(zhì)量。這種修復(fù)策略結(jié)合了傳統(tǒng)方法和最近發(fā)展起來的非局部濾波方案。在待參考點的選取上，提出了一種在8個方向上有間距的選取方法，可以很好的體現(xiàn)待修補(bǔ)點周圍的彩色信息和深度特征。距離、深度、顏色三種參考信息之間良好的平衡保證了修復(fù)效果。實驗結(jié)果上，無論是主觀視覺的評價，還是客觀定量的誤差評估，都證實了該修復(fù)框架的有效性。
　　立體視覺的一個典型應(yīng)用就是立體視頻會議系統(tǒng)，本文在對立體數(shù)據(jù)進(jìn)行修復(fù)之后，設(shè)計并實現(xiàn)了一個利用

4、左右分屏3D電視以及 Kinect設(shè)備進(jìn)行三維遠(yuǎn)程視頻會議的系統(tǒng)。系統(tǒng)中首先需要解決的是設(shè)計穩(wěn)定高效的設(shè)備驅(qū)動模塊，它要在不同的平臺上以相同的格式向上層模塊提供穩(wěn)定的數(shù)據(jù)流，OpenNI具備這樣的特性。為了讓后臺的修復(fù)算法與前端的界面顯示都能流暢的運行，多線程是不可缺少的，本文采用了固定大小的循環(huán)緩沖區(qū)來實現(xiàn)各個模塊的各個線程之間的數(shù)據(jù)共享，實際的運行效果證明這個高速緩沖區(qū)模塊可以很好的平衡多線程并發(fā)編程中常見的線程安全性問題和運行效率