基于正則化優(yōu)化的圖像視頻復(fù)原方法研究.pdf

1、近些年來(lái)，隨著信號(hào)采集技術(shù)和計(jì)算機(jī)運(yùn)算能力的爆炸式發(fā)展，以圖像和視頻作為內(nèi)容載體的多媒體應(yīng)用得到了廣泛關(guān)注并被快速普及。在以數(shù)碼相機(jī)、智能手機(jī)為代表的消費(fèi)電子領(lǐng)域和以醫(yī)學(xué)成像、安防監(jiān)控為代表的專業(yè)成像領(lǐng)域中，圖像視頻的相關(guān)應(yīng)用開(kāi)始扮演不可或缺的角色。但是在圖像視頻信號(hào)的獲取過(guò)程中，由于環(huán)境噪聲、器件缺陷、攝影水平、編碼壓縮等主客觀因素的影響，人們所獲取的圖像視頻信號(hào)會(huì)產(chǎn)生不同程度的質(zhì)量下降。而圖像視頻本身質(zhì)量的下降不僅會(huì)直觀地影響觀察者

2、的觀看體驗(yàn)，更會(huì)降低后續(xù)處理任務(wù)（如分割、識(shí)別、理解）的有效性和準(zhǔn)確性。因此，如何從質(zhì)量下降的圖像視頻信號(hào)中恢復(fù)出貼近本真視覺(jué)內(nèi)容的恢復(fù)結(jié)果是多媒體處理領(lǐng)域最為基本和關(guān)鍵的研究課題。
　　大多數(shù)的圖像視頻降質(zhì)現(xiàn)象都可以建模為對(duì)原信號(hào)進(jìn)行函數(shù)映射并疊加上隨機(jī)噪聲的數(shù)學(xué)過(guò)程。由于降質(zhì)模型中的函數(shù)映射通常不是一一對(duì)應(yīng)的，并且噪聲還引入了額外的干擾，因此往往存在無(wú)窮多的恢復(fù)結(jié)果都能與降質(zhì)模型相符合的現(xiàn)象。然而，這些結(jié)果中的絕大多數(shù)都是病態(tài)

3、解，即它們雖然滿足數(shù)學(xué)模型，但是與本真的圖像視頻信號(hào)卻相差甚遠(yuǎn)。要解決這一問(wèn)題，就必須要將反映圖像視頻本真性質(zhì)的先驗(yàn)信息融入到復(fù)原過(guò)程中，以便約束復(fù)原方法在本真信號(hào)附近的合理區(qū)域內(nèi)尋找最終的恢復(fù)結(jié)果。為了達(dá)到此目的，學(xué)術(shù)界和工業(yè)界的主流思想是將復(fù)原過(guò)程建模為一個(gè)最優(yōu)化問(wèn)題，并在此問(wèn)題中引入能夠體現(xiàn)圖像視頻先驗(yàn)性質(zhì)的正則化約束項(xiàng)來(lái)規(guī)范最終的求解結(jié)果。如此一來(lái)，通過(guò)求解這一優(yōu)化問(wèn)題，我們就能保證最終解滿足某些合理的性質(zhì)，并能盡量逼近待復(fù)原的

4、本真內(nèi)容。近二十多年來(lái)，研究者們就如何設(shè)計(jì)有效的圖像視頻正則化優(yōu)化模型進(jìn)行了大量的理論研究和應(yīng)用實(shí)踐。但是，針對(duì)圖像視頻在多個(gè)組成單元、多個(gè)維度、不同內(nèi)容和不同約束機(jī)制下所表現(xiàn)出的各具特點(diǎn)的先驗(yàn)性質(zhì)進(jìn)行深入挖掘和精準(zhǔn)建模的研究工作還不多見(jiàn)，仍然有待進(jìn)一步研究。
　　本文從圖像視頻復(fù)原的正則化優(yōu)化建模出發(fā)，探討如何利用圖像視頻在多個(gè)組成單元、多個(gè)維度、不同內(nèi)容和不同約束機(jī)制下所具有的先驗(yàn)性質(zhì)來(lái)構(gòu)建和解決面向不同應(yīng)用場(chǎng)景下的正則化優(yōu)化

5、問(wèn)題。文章分別針對(duì)圖像在小塊單元上的組稀疏表達(dá)性質(zhì)建模、視頻分量在時(shí)空維度上自相似性差異建模、不同圖像內(nèi)容的非平穩(wěn)非勻質(zhì)統(tǒng)計(jì)特性建模、以及基于約束機(jī)理的普適性正則化建模等四個(gè)方面展開(kāi)研究，旨在進(jìn)一步提高圖像視頻復(fù)原的恢復(fù)質(zhì)量。
　　論文的主要工作及創(chuàng)新點(diǎn)如下:
　　1.本文針對(duì)JPEG量化塊效應(yīng)的去除問(wèn)題，設(shè)計(jì)了基于組稀疏模型的正則化優(yōu)化復(fù)原方法。針對(duì)JPEG量化壓縮后的圖像中所存在的不連續(xù)塊效應(yīng)問(wèn)題，本文利用圖像中的小塊所

6、具有的非局部自相似特性，發(fā)展了原有的稀疏表達(dá)模型，提出了基于圖像小塊單元上自相似性質(zhì)的組稀疏表達(dá)模型作為復(fù)原問(wèn)題中的正則化約束項(xiàng)。進(jìn)一步，本文將這一組稀疏模型與示性函數(shù)相結(jié)合，精確建模了JPEG壓縮的降質(zhì)過(guò)程和自然圖像在塊尺度上的先驗(yàn)信息。通過(guò)相關(guān)優(yōu)化問(wèn)題的求解，新方法相較于現(xiàn)有方法顯著提升了重建圖像的視覺(jué)質(zhì)量。
　　2.本文針對(duì)現(xiàn)存的老電影資料中存在的斑點(diǎn)和劃痕等瑕疵的檢測(cè)問(wèn)題設(shè)計(jì)了基于分量分解模型的檢測(cè)方法。首先，本文利用視頻

7、序列中不同分量在空間維度上的相關(guān)性差異建立了結(jié)構(gòu)+紋理正則化分離模型，將斑點(diǎn)和劃痕劃分到不同的分量中;隨后，本文再利用視頻序列在時(shí)間維度上的相關(guān)性差異建立了低秩+稀疏正則化分離模型，將這些分量中的斑點(diǎn)或劃痕與原本的視頻內(nèi)容區(qū)分開(kāi)來(lái)，最終達(dá)到高效檢測(cè)標(biāo)記老電影中瑕疵的目的。測(cè)試結(jié)果表明，本文所提方法對(duì)形狀復(fù)雜和大小多變的瑕疵都能取得優(yōu)于現(xiàn)有方法的檢測(cè)結(jié)果。
　　3.本文基于圖像中不同組成內(nèi)容所體現(xiàn)出的非平穩(wěn)非均勻的先驗(yàn)特性提出了針對(duì)

8、一般化總變差的內(nèi)容自適應(yīng)改進(jìn)模型。首先，本文從貝葉斯概率理論的角度出發(fā)，分析了正則化優(yōu)化問(wèn)題與最大化貝葉斯后驗(yàn)概率之間所存在的內(nèi)在聯(lián)系。隨后，基于這一思路本文導(dǎo)出了一般化總變差背后蘊(yùn)含的圖像先驗(yàn)概率模型假設(shè)，并得出了這一正則化約束中的加權(quán)參數(shù)與相應(yīng)的先驗(yàn)概率模型中參數(shù)所存在的定量關(guān)系。最后，本文設(shè)計(jì)了一套穩(wěn)健有效的統(tǒng)計(jì)估計(jì)方案用于估計(jì)概率模型參數(shù)，并進(jìn)一步導(dǎo)出內(nèi)容自適應(yīng)的正則化模型參數(shù)。通過(guò)這一系列改進(jìn)，新的模型能自適應(yīng)地根據(jù)圖像內(nèi)容調(diào)

9、節(jié)其加權(quán)參數(shù)。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的總變差類模型相比，新模型能有效地提升最終結(jié)果的恢復(fù)質(zhì)量。
　　4.本文從度量約束機(jī)制的角度出發(fā)，提出了可應(yīng)用于視頻復(fù)原問(wèn)題的高階非局部總變差模型。通過(guò)實(shí)驗(yàn)觀察和理論分析，本文發(fā)現(xiàn)非局部總變差模型中的先驗(yàn)假設(shè)不能對(duì)實(shí)際視頻中各類內(nèi)容所具有的復(fù)雜取值變化性質(zhì)進(jìn)行準(zhǔn)確建模。對(duì)此，本文引入了針對(duì)非局部梯度分量的均值估計(jì)作為輔助參數(shù)，并在此均值估計(jì)的基礎(chǔ)上建立了二階的非局部正則化約束項(xiàng)，由此構(gòu)建了更靈活更