3D視頻編碼中深度圖的相關技術研究.pdf

1、隨著3D顯示器和交互式多媒體系統(tǒng)的發(fā)展,新的3D視頻應用,如三維電視(3DTV)和自由視點視頻(FVV)已經(jīng)越來越引起人們的興趣。為了使這些3D視頻應用成為可能,由多視點視頻及其對應的深度圖序列組成的新的3D視頻格式(Multiview Video plus Depth,MVD)被提出。該視頻格式利用基于深度圖的視點合成技術(Depth Image Based Rendering,DIBR)可以合成任意位置的虛擬視點。如何對MVD數(shù)據(jù)進

2、行高效的壓縮是目前3D視頻編碼標準研究的一個重要問題。多視點視頻在多視點視頻編碼標準(Multiview Video Coding,MVC)中已經(jīng)進行了較詳細的研究。本文主要對 MVD中的深度圖序列的編碼和質量恢復進行了研究。深度圖與傳統(tǒng)的視頻信息有很大的不同,深度圖中的值表示的是場景中物體到攝像機的距離,它是由很有很多平滑區(qū)域構成,這些平滑區(qū)域由尖銳的邊緣分隔開,而且這些邊緣信息對視點合成非常敏感。此外,深度圖不需要在終端呈現(xiàn)給用戶進

3、行觀看,它主要是用來進行視點合成的。目前由于深度傳感器物理上的限制,獲取到的深度圖通常具有很大程度的模糊和噪聲,所以需要對深度圖的質量進行復原。鑒于深度圖的這些特性,本文提出了兩項針對深度圖編碼的技術和一項針對深度圖質量復原的技術。本文的主要工作和創(chuàng)新之處在于:
　　1.提出了基于合成視點失真估計的深度圖編碼方法。
　　本文充分分析了深度圖編碼對合成視點質量的影響,提出了用于深度圖編碼的失真模型。該失真模型用來估計深度編碼對

4、合成視點的影響。本文利用估計的合成視點失真來代替原有深度圖失真進行RD最優(yōu)化的模式?jīng)Q策過程。
　　2.提出了基于視差的深度圖編碼方法。
　　本文提出了對深度圖對應的視差圖進行編碼來大幅度降低編碼深度信息的碼率,而對合成視點的質量沒有較大的影響。該方法考慮了一種特殊的應用場合,即虛擬視點的位置在編碼前已知。在目前的3D系統(tǒng)中虛擬視點的位置可以通過一個反饋網(wǎng)絡得到,所以基于視差的深度圖編碼有著重要意義。
　　3.提出了基于