提高三維視頻深度編碼性能的技術(shù)研究.pdf

1、三維視頻(Three Dimensional Video，3DV)能夠給觀眾帶來當(dāng)前場景的深度信息，從而更加接近人的現(xiàn)實感受，因此受到了廣泛關(guān)注。多視點視頻加深度(Multi-view Video plus Depth，MVD)具有良好的標(biāo)準(zhǔn)兼容性，并且利用基于深度圖像的繪制(Depth Image-Based Rendering，DIBR)技術(shù)能夠在解碼端任意視點位置合成虛擬視點，實現(xiàn)自由立體電視應(yīng)用。因此，被運動圖像專家組(Movi

2、ngPictures Experts Group，MPEG)選為新一代3DV視頻編碼標(biāo)準(zhǔn)的數(shù)據(jù)格式。相比于視頻圖像，深度圖中含有大面積平坦區(qū)域，僅在物體邊緣部分呈現(xiàn)出尖銳截止現(xiàn)象，并且深度圖不直接用于觀看，而是主要用于解碼端的虛擬視點合成。由于新引入的深度信息也需要進行編碼，并利用帶寬有限的傳輸設(shè)備傳輸至解碼端，這對于編碼器的編碼效率提出了更高要求。本文重點研究了3DV中深度信息的高效編碼方法，主要研究內(nèi)容如下:
　　由于目前消費

3、級顯示器解碼計算能力的限制，MPEG對編解碼器處理的3DV數(shù)據(jù)量做出了限制?？紤]到觀眾在觀看雙目視頻時，最終感知的視頻質(zhì)量主要受到其中質(zhì)量較強一路視頻的主導(dǎo)，為了降低3DV的數(shù)據(jù)量并提高編碼效率，本文提出，對于三個視點的情況，將左路和右路視點的視頻與深度信息進行空間1/2下采樣，解碼端再進行上采樣恢復(fù)至原始分辨率。由于中間視點將一直用于解碼端的虛擬視點合成，因此不對其進行采樣處理。此外，在編碼中間視點時，將邊路視點進行上采樣用作中間視點

4、的參考信息，以降低視點間冗余。所提方法在滿足數(shù)據(jù)量限制條件的前提下，提高了3DV的編碼效率。
　　現(xiàn)有編碼器中變換量化操作使得深度圖中尖銳的物體邊緣變得模糊，降低了虛擬合成視點質(zhì)量。為了恢復(fù)深度圖中的尖銳邊緣信息，本文基于深度圖的特性以及深度圖與對應(yīng)視頻圖像的相關(guān)性，提出了一種基于三邊濾波器的邊緣重建方法。所提算法結(jié)合深度圖邊緣兩側(cè)像素較為平滑的特點，對于三邊濾波器中濾波參考像素集合的基準(zhǔn)點選取方法進行了改進。同時為了避免引入新濾

5、波像素值，提出利用中值濾波代替原有的加權(quán)計算方法。所提方法明顯提高了深度圖邊緣的恢復(fù)質(zhì)量和虛擬合成視點質(zhì)量。
　　現(xiàn)有編碼器一般采用率失真優(yōu)化(Rate Distortion Optimization，RDO)準(zhǔn)則，通過對每一個宏塊(Macro-Block，MB)遍歷所有候選模式選取最佳模式。雖然提高了編碼效率，但是卻大大增加了編碼復(fù)雜度。為了降低深度編碼復(fù)雜度，本文提出了一種基于分級B預(yù)測結(jié)構(gòu)的快速編碼方法。該方法利用分級B預(yù)測

6、結(jié)構(gòu)中較高時間層(Temporal Level，TL)內(nèi)編碼幀與參考幀之間時間間隔短，時域相關(guān)性強，且編碼幀中采用大尺寸編碼模式MB比例高的特點，結(jié)合深度圖由大面積平坦區(qū)域和尖銳邊緣組成的特性，對處于不同TL內(nèi)的編碼幀分別制定了不同強度的候選模式精簡策略，跳過不必要的小尺寸編碼模式。所提算法在保證編碼性能前提下，有效降低了編碼復(fù)雜度。
　　對于處于深度圖平坦區(qū)域中的MB，由于采用不同編碼模式產(chǎn)生的量化殘差編碼比特數(shù)經(jīng)常為零，以及失

7、真較小且相等，模式判決的結(jié)果主要由模式頭信息編碼比特數(shù)決定。為了進一步降低編碼復(fù)雜度，提出了一種率失真性能不變的早期截止算法。所提算法中，所有候選模式按照其對應(yīng)最小頭信息比特數(shù)計算的固有最小率失真代價函數(shù)值升序排列。在完成每一個候選模式的率失真代價函數(shù)值計算之后，將更新之后的最小率失真代價函數(shù)值與下一候選模式的固有最小率失真代價函數(shù)值進行比較，以判斷是否終止當(dāng)前模式判決過程。所提算法使得編碼復(fù)雜度大大降低，且編碼率失真性能不發(fā)生變化。<

8、br>　　為了提高深度圖Ⅰ幀的編碼效率，提出一種Ⅰ幀MB模式跳過編碼方法。該方法充分考慮了深度圖像含有大面積平坦區(qū)域，且平坦區(qū)域內(nèi)空間相鄰MB編碼模式之間存在較強相關(guān)性的特點。在此基礎(chǔ)上，提出利用空間相鄰已編碼MB模式預(yù)測當(dāng)前MB模式，并對MB模式與預(yù)測模式相等的MB進行模式跳過編碼。另外，為了降低現(xiàn)有標(biāo)準(zhǔn)在編碼平坦區(qū)域MB殘差系數(shù)過程中引入的指示信息冗余，進一步提出幀內(nèi)MB跳過編碼方法。它可以同時跳過平坦區(qū)域中MB模式與殘差系數(shù)的編碼

9、，進而降低編碼冗余。所提兩種方法位于MB模式選擇之后的MB編碼階段，因此對重建幀質(zhì)量沒有任何影響。利用所提方法可以有效提高深度圖像的編碼效率。
　　針對利用現(xiàn)有幀內(nèi)編碼算法編碼深度圖巾含有邊緣的MB效率較低的問題，提出了一種利用視頻與深度圖之間相關(guān)性的邊緣跳過編碼方法。該方法利用聚類算法從當(dāng)前深度編碼MB及其參考像素部分對應(yīng)的視頻區(qū)域獲得邊緣信息，以此作為當(dāng)前深度編碼MB及其參考像素的分割邊緣信息，然后利用所得分割邊緣信息將參考像