基于內(nèi)容分析的圖像視頻編碼研究.pdf

1、數(shù)字圖像視頻的壓縮技術(shù)已經(jīng)研究超過(guò)二十年，并取得了巨大的成功。然而，多年的開(kāi)發(fā)使得以“預(yù)測(cè)-變換”為主的傳統(tǒng)編碼框架越來(lái)越接近其性能極限。我們有必要從新的角度分析并理解數(shù)字圖像視覺(jué)內(nèi)容，開(kāi)發(fā)新的編碼壓縮方法。最近十年中，計(jì)算機(jī)視覺(jué)領(lǐng)域的快速發(fā)展啟發(fā)我們可以從視覺(jué)內(nèi)容分析出發(fā)，發(fā)掘圖像的視覺(jué)相關(guān)性，改進(jìn)圖像視頻編碼性能。
　　在本論文中，我們重點(diǎn)研究視覺(jué)內(nèi)容分析技術(shù)與圖像視頻編碼技術(shù)的結(jié)合，借助視覺(jué)內(nèi)容分析技術(shù)對(duì)圖像間視覺(jué)相關(guān)性進(jìn)行

2、分析，消除圖像和視頻中不同層面的視覺(jué)冗余，從而提高圖像視頻的編碼效率。本論文的主要貢獻(xiàn)可以總結(jié)為三個(gè)部分的工作。
　　在第一部分工作中，我們提出了一種基于視覺(jué)模式分析的圖像編碼方法。該方法通過(guò)先驗(yàn)視覺(jué)模式描述圖像低頻和高頻之間的視覺(jué)相關(guān)性，并由此自適應(yīng)地在編碼端丟棄圖像中的某些高頻視覺(jué)冗余，改善編碼性能。同時(shí)在解碼端，根據(jù)視覺(jué)模式包含的先驗(yàn)信息估計(jì)并恢復(fù)丟失的高頻細(xì)節(jié)，改善圖像重建質(zhì)量。此外，我們進(jìn)一步地將基于視覺(jué)模式的分析技術(shù)擴(kuò)

3、展至可伸縮視頻編碼應(yīng)用，提出了一種新的基于視覺(jué)模式分析的層間預(yù)測(cè)方法。該方法借助視覺(jué)模式的搜索和映射，同時(shí)發(fā)掘可伸縮視頻序列在時(shí)域和空域的視覺(jué)相關(guān)性，分別生成兩個(gè)高質(zhì)量的層間預(yù)測(cè)信號(hào)，改善可伸縮視頻編碼性能。此外，我們還采用了基于參數(shù)分析的預(yù)測(cè)方法，通過(guò)分析基本層已編碼的信息（比如HEVC編碼中的四叉樹(shù)信息）來(lái)實(shí)現(xiàn)復(fù)雜度較低的層間預(yù)測(cè)。我們的方法通過(guò)結(jié)合多種內(nèi)容分析機(jī)制，同時(shí)提供了多環(huán)路和單環(huán)路的系統(tǒng)實(shí)現(xiàn)，在編碼性能和復(fù)雜度之間取得更好

4、的平衡。
　　在第二部分的工作中，我們提出了一種基于圖像特征的高效圖像編碼方法。該方法通過(guò)圖像局部特征匹配建立起更緊密的圖像局部視覺(jué)聯(lián)系，再配合像素層面的相關(guān)性分析，更有效地消除視覺(jué)冗余。具體地說(shuō)，我們利用多尺度小波變換和SIFT特征提取，首先將輸入圖像分解為全局信息和子帶內(nèi)局部信息，并進(jìn)行編碼壓縮。全局信息是對(duì)輸入圖像的基本描述，包含有限的視覺(jué)冗余;而子帶內(nèi)局部信息則是從不同的小波子帶中提取的SIFT局部特征。在解碼端，我們利用

5、解碼的SIFT特征從云端圖像數(shù)據(jù)庫(kù)中，檢索出一組視覺(jué)相似的圖像片。然后，結(jié)合基于視覺(jué)模式的分析和映射，將這些相似圖像片中的信息與解碼的全局信息融合起來(lái)，重建目標(biāo)圖像。根據(jù)子帶內(nèi)SIFT特征建立的視覺(jué)聯(lián)系，我們利用基于視覺(jué)模式的映射從最低頻的子帶開(kāi)始，由低頻至高頻，依次將視覺(jué)相似圖像片內(nèi)的信息融合進(jìn)入對(duì)應(yīng)的子帶，恢復(fù)圖像不同頻帶內(nèi)的局部細(xì)節(jié)，直到圖像完整重建。我們的方法通過(guò)結(jié)合局部特征分析技術(shù)和視覺(jué)模式分析的優(yōu)點(diǎn)，取得更高效的圖像編碼性能

6、。
　　在第三部分的工作中，我們提出一種基于圖像特征全局相似度分析的圖像集整體優(yōu)化編碼方法。根據(jù)圖像局部特征的整體統(tǒng)計(jì)特性，我們定義特征距離來(lái)分析圖像與圖像間的全局相似度。在此基礎(chǔ)上，我們將圖像集聚類(lèi)為若干個(gè)相關(guān)性更強(qiáng)的子集，并將每個(gè)子集中圖像間的關(guān)系描述為一個(gè)加權(quán)有向圖。圖中每個(gè)節(jié)點(diǎn)代表一幅圖像，每一條邊由特征距離加權(quán)。通過(guò)尋找該有向圖的最小權(quán)值生成樹(shù)，可以得到具有最小預(yù)測(cè)代價(jià)的優(yōu)化編碼結(jié)構(gòu)。為了進(jìn)一步增強(qiáng)圖與圖之間的相關(guān)性，我

7、們提出了一種全新的基于特征的圖像間三步預(yù)測(cè)方法。首先，我們利用SIFT特征匹配和多模型幾何運(yùn)動(dòng)估計(jì)，消除不同區(qū)域的幾何形變。其次，我們引入光度變換消除圖像間由于光照變化帶來(lái)的差異。最后，我們利用基于塊的運(yùn)動(dòng)補(bǔ)償機(jī)制生成局部?jī)?yōu)化的預(yù)測(cè)信號(hào)。我們提出的基于圖像特征的方法充分利用多種內(nèi)容分析技術(shù)的優(yōu)點(diǎn)。基于特征的全局分析技術(shù)有效地確定了優(yōu)化編碼結(jié)構(gòu);基于局部特征匹配的圖像變換增強(qiáng)了圖像與圖像間的區(qū)域相關(guān)性;基于像素的運(yùn)動(dòng)補(bǔ)償生成了更精確的預(yù)測(cè)