沉浸式視頻中三維場景視差提取與精煉的研究.pdf

1、沉浸式視頻是計(jì)算機(jī)視覺領(lǐng)域極其重要而又具有深遠(yuǎn)意義的研究課題，是未來多媒體視頻技術(shù)的重要組成部分，具有極其廣泛的應(yīng)用前景。沉浸式視頻采用兩個(gè)或多個(gè)攝像機(jī)從不同角度同一時(shí)間拍攝的多個(gè)視頻，來產(chǎn)生一個(gè)全面的3D數(shù)字視頻，并運(yùn)用計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)，為交互式視頻和電視的觀察者提供一個(gè)“虛擬攝像機(jī)”，使觀察者可以自由地選擇觀察方向和視角。 多視角視頻是是沉浸式視頻眾多應(yīng)用中極其重要的一種應(yīng)用，主要用于解決沉浸式三維視頻的表現(xiàn)、交互、

2、存儲及傳輸。多視角視頻由一組平行或會聚相機(jī)陣列拍攝得到的視頻信號組成，經(jīng)處理后能提供所拍攝場景不同角度的視頻信息，達(dá)到自由切換視角的目的，能滿足用戶從多個(gè)角度選擇和操作視聽對象的要求，提供了交互式的場景漫游能力。 視差，是指從有一定距離的兩個(gè)點(diǎn)上觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異。在多視角視頻中，視差定義為視角軸上的運(yùn)動。視差信息是進(jìn)行對象分割、實(shí)現(xiàn)各通道間視差補(bǔ)償預(yù)測和構(gòu)造中間視點(diǎn)圖像的重要特征，高效、快速的視差估計(jì)是進(jìn)行立體視頻

3、圖像編碼的關(guān)鍵。視差估計(jì)是按照某種數(shù)學(xué)準(zhǔn)則，在對應(yīng)圖像中尋找已知點(diǎn)或塊的相匹配的點(diǎn)或塊，因此視差估計(jì)也稱為圖像匹配過程。 本文的主要工作包括： 1．深入研究了沉浸式視頻的內(nèi)容、實(shí)現(xiàn)步驟、軟硬件構(gòu)成等，分析了沉浸式視頻的表示、編碼、關(guān)鍵技術(shù)，并對沉浸式視頻的各種應(yīng)用做了說明；深入研究了多視點(diǎn)視頻的內(nèi)容、特點(diǎn)，重點(diǎn)研究了其編碼，比較分析了基于“對象”的編碼方法和基于“塊”的編碼方法的優(yōu)缺點(diǎn)； 2．研究了視差與深度的基

4、本原理，深入研究了視差估計(jì)的原理、詳細(xì)論述了視差估計(jì)的多個(gè)約束條件及其在視差估計(jì)算法中的作用，揭示了合理利用約束條件可以達(dá)到事半功倍的效果； 3．比較分析了現(xiàn)有的視差估計(jì)算法，介紹了各算法的優(yōu)點(diǎn)、缺點(diǎn)； 4．著重研究了其中的三種視差估計(jì)算法：SAD匹配致密視差估計(jì)算法、一種基于分塊匹配算法的視差估計(jì)算法、一種基于特征點(diǎn)配準(zhǔn)和插值技術(shù)的視差估計(jì)算法，并給出了編程框圖和實(shí)驗(yàn)結(jié)果。 5．針對現(xiàn)存算法的缺陷，改進(jìn)了一種基

5、于分割的視差估計(jì)精煉算法。首先，對左右圖像對進(jìn)行基于顏色的分割；其次，計(jì)算每一分割區(qū)域的初始視差空間分布；再次，用鄰域分割和投影提煉每一個(gè)分割區(qū)域的DSD，期間執(zhí)行平滑性限制和連續(xù)性限制；接下來，進(jìn)行平滑處理，最后，給出了實(shí)驗(yàn)結(jié)果和詳細(xì)分析。對深度不連續(xù)區(qū)域有很好的處理效果，使視差變化更加連續(xù)光滑 沉浸式視頻廣泛應(yīng)用于三維立體視頻會議、三維視頻監(jiān)控系統(tǒng)、虛擬現(xiàn)實(shí)、3DTV、汽車智能輔助駕駛等越來越多的領(lǐng)域，是極富吸引力、極富挑戰(zhàn)