自由視點視頻深度圖估計的關鍵技術研究.pdf

1、人們在觀看立體圖像時能夠體會到畫面的深度感，在觀看多視點視頻時可以根據(jù)自己的喜好選擇不同的視角，這些都是普通二維視頻難以達到的效果，受到越來越多觀眾的歡迎。因此，立體和多視點視頻是當今視頻技術和應用的主流發(fā)展方向之一，具有非常廣闊的市場前景。其中有多項需要解決的關鍵技術，如多視點紋理和深度信息的獲取，多視點視頻的編解碼和傳輸，以及多視點視頻的渲染等，尤其是有關深度信息的準確獲得已成為當前熱門研究領域之一。本文研究的關注點是在多視點視頻系

2、統(tǒng)中如何給立體內容加入視點交互，獲得相應場景的深度信息，以及如何由深度信息進行多視點渲染，使觀眾可以自由選擇觀看的視點位置。
　　本文從構建自由視點視頻系統(tǒng)的角度出發(fā)，在三個方面開展了相關關鍵技術的研究工作，即從單視點運動視頻中獲得可靠深度圖，從多視點視頻中獲得可靠深度（視差）圖以及利用基于深度圖的渲染（Depth Image Based Rendering，DIBR）技術進行虛擬視點圖像合成。主要工作和創(chuàng)新點如下：
　　1

3、．從單視點運動視頻中估計出深度圖是非常困難的，本文聯(lián)合利用SFM（Structure from Motion）和光流計算將視頻中的圖像幀轉變?yōu)榧y理＋深度圖的格式，并且每一幀都有關聯(lián)的攝像機姿態(tài)。算法首先利用SFM獲得場景的稀疏表示、圖像幀之間特征點的匹配關系，以及每個關鍵幀的攝像機姿態(tài)。在給定參考幀后，根據(jù)質量測量選定另一個參與運動流計算的圖像幀，通過測量圖像之間的運動流實現(xiàn)場景稀疏表示的結構稠密化，獲得最優(yōu)質量的深度圖。算法不進行任何

4、深度圖內插計算。
　　2．為了在低計算復雜度下獲得可靠的深度圖，本文將全局優(yōu)化的方法應用到區(qū)域立體匹配的框架內，提出不同的兩種從立體圖像對中提取深度信息的算法：一種是基于全局差錯能量最小化的方法，另一種是基于線性區(qū)域生長的方法。全局差錯能量最小化是在視差搜索范圍內使用塊匹配技術為每一個視差構建一個差錯能量矩陣。線性生長法是判斷某個點與根點之間關聯(lián)度的差錯能量是否小于預先設定的閾值。算法對每一個差錯矩陣反復進行均值濾波，尋找最小差錯

5、能量，進而獲得視差圖和深度圖。算法利用平滑函數(shù)進行全局最優(yōu)化，通過檢測視差圖中的高誤差能量，剔除由于遮擋區(qū)域造成的不可靠預測視差點，以提高視差圖的可靠性。在匹配過程中，應用遞歸二維均值濾波技術快速計算方法對區(qū)域匹配算法進行優(yōu)化，從而提高算法效率。
　　3．針對低紋理區(qū)域和遮擋會引起雙目立體歧義的問題，提出一種基于DAISY特征和改進型權重核的快速立體匹配視差生成的算法。該算法首先稠密構造局部特征的DAISY描述，計算初始匹配成本；

6、基于Epanechnikov權重核雙通聚合消除特征相似歧義得到可靠匹配代價；按照“勝者全拿”的優(yōu)化準則獲得初始視差。然后，利用改進型雙邊濾波、對稱一致性驗證和多方向權重視差外插等策略改善視差估計精度。實驗結果表明，該方法能有效提高匹配精度，得到分段光滑、精度高的稠密視差，且結構簡單、復雜度低。
　　4．針對現(xiàn)有DIBR虛擬視點圖像渲染算法存在的問題，提出一種基于深度信息進行后處理的DIBR虛擬視點渲染算法。該算法利用攝像機參數(shù)和深