圖像-視頻縮放的SEAM CARVING技術(shù)改進(jìn)研究.pdf

1、在圖像與視頻處理領(lǐng)域，圖像/視頻縮放非常重要。特別是，當(dāng)需要在具有不同顯示分辨率的顯示終端上顯示相同的一幅圖像時(shí)，需要進(jìn)行縮放操作。圖像縮放就是指根據(jù)特定應(yīng)用的需要，對(duì)一幅圖像的分辨率進(jìn)行自適應(yīng)的調(diào)整，得到的結(jié)果圖像具有不同的分辨率大小，但是具有相同的內(nèi)容。實(shí)際上，圖像縮放是一些流行的圖像編輯軟件工具的標(biāo)準(zhǔn)功能。然而，傳統(tǒng)的圖像縮放技術(shù)通過(guò)按照比例一致地縮放一幅圖像到它的目標(biāo)大小。比例縮放與剪切是兩種常見(jiàn)的圖像與視頻縮放技術(shù)。比例縮放對(duì)

2、于整幅圖像采用一致的采樣比例改變。它可以保留圖像中所有的可見(jiàn)元素，但是它寬高比改變時(shí)，它會(huì)引起嚴(yán)重的幾何失真。而且，它可能因?yàn)檫^(guò)多地收縮一幅圖像而導(dǎo)致觀察者看不到圖像的細(xì)節(jié)。另一方面，剪切則去除圖像邊界區(qū)域，而保留一幅圖像中的主要內(nèi)容。顯然，當(dāng)在圖像中的對(duì)角方向都有重要的目標(biāo)物體時(shí)，它不能夠很好地保護(hù)它們。近些年，內(nèi)容感知的圖像縮放得到了持續(xù)的關(guān)注。它尋求在改變圖像大?。ㄖ阜直媛?，下同）的同時(shí)，保持圖像重要內(nèi)容的完整性。線雕刻(Seam

3、 Carving)是最近幾年由Avidan和Shamir最早提出的的一種圖像操作符(operator)。它能夠很好地在圖像的不同位置刪除或者添加像素，實(shí)現(xiàn)圖像大小的改變，是迄今為止的已有圖像縮放技術(shù)中最為成功的一種。它的關(guān)鍵思想在于:根據(jù)能量函數(shù)，通過(guò)去除那些混合在周圍像素中，而不容易引起注意的像素。數(shù)字視頻也存在類似的需求，即需要被縮放，以適應(yīng)顯示在不同的終端，包括電視、計(jì)算機(jī)、蜂窩電話等。顯然，把圖像SeamCarving技術(shù)擴(kuò)展到

4、視頻縮放的一種最直接的方式是把每個(gè)視頻幀視為一幅靜止圖像，并且獨(dú)立地進(jìn)行縮放。
　　Seam Carving定義了一種能量函數(shù)，以反映圖像中像素的重要性。Seam是一幅圖像中具有低能量的像素所組成的從上至下，或者從左至右的連通路徑。Seam Carving可以支持多種不同類型的能量函數(shù)，例如梯度幅度、熵、視覺(jué)關(guān)注度、眼睛眨動(dòng)，或者其他的定義。Seam位置的計(jì)算實(shí)質(zhì)上是從圖像的一端尋找到另一端的最有最小代價(jià)的路徑。這可以通過(guò)動(dòng)態(tài)規(guī)劃

5、的方式實(shí)現(xiàn)。動(dòng)態(tài)規(guī)劃通過(guò)存儲(chǔ)子過(guò)程的計(jì)算結(jié)果，以簡(jiǎn)化計(jì)算更為復(fù)雜的結(jié)果。因此，在Seam的計(jì)算中，采用了動(dòng)態(tài)規(guī)劃技術(shù)。通過(guò)迭代地去除或者插入Seams，可以在水平或者垂直方向縮小或者放大圖像的大小。刪除或者插入的過(guò)程是無(wú)參數(shù)的。然而，為了方便交互式的控制，也可以提供一種基于scribble的接口，通過(guò)調(diào)節(jié)圖像不同部分能量的權(quán)重，并且引導(dǎo)出最終的結(jié)果。然而，它有時(shí)候可能會(huì)失去對(duì)圖像中重要目標(biāo)的保護(hù)。也就是，它不能夠在于重要區(qū)域的保護(hù)與整體

6、概貌的保持之間進(jìn)行有效的平衡，甚至可能出現(xiàn)結(jié)構(gòu)失真。
　　一種好的圖像/視頻縮放方法應(yīng)該能夠在不損害整體概貌的前提下，保護(hù)重要的內(nèi)容，以一種“智能”的方式進(jìn)行。因此，本論文針對(duì)Avidan和Shamir提出的圖像SeamCarving技術(shù)進(jìn)行改進(jìn)。改進(jìn)的方向是:一是通過(guò)引入人機(jī)交互，方便用戶使用;二是減少可能存在的失真，改善視覺(jué)質(zhì)量;三是將圖像Seam Carving擴(kuò)展到視頻縮放，并且綻放過(guò)程中結(jié)合數(shù)字視頻的特點(diǎn)。具體地，本文的

7、主要工作與創(chuàng)新點(diǎn)如下:
　　第一，結(jié)合原始的Seam Carving方法與GrowCut圖像分割，提出了一種交互式的圖像Seam Carving方法。首先，輸入圖像進(jìn)行GrowCut處理，在感興趣區(qū)域（對(duì)象）內(nèi)部與外部標(biāo)記輪廓線，從而自動(dòng)地區(qū)選擇整個(gè)對(duì)象。然后，對(duì)進(jìn)行了對(duì)象標(biāo)注后的圖像進(jìn)行Seam Carving縮放。顯然，GrowCut被用于選擇需要保留或者去除的對(duì)象。原因在于:GrowCut作為一種交互式的分割算法，可以作為對(duì)

8、圖像進(jìn)行交互式多標(biāo)記分割的新工具。GrowCut算法使用細(xì)胞自動(dòng)機(jī)作為圖像模型，把像素標(biāo)記過(guò)程視為細(xì)菌生長(zhǎng)過(guò)程。細(xì)菌從種子像素點(diǎn)開(kāi)始生長(zhǎng)，并且試圖占據(jù)整幅圖像，這就是所謂的GrowCut方法。本文之所以把GrowCut方法與Seam Carving方法相結(jié)合，就是因?yàn)樗梢越鉀Q對(duì)象分割的困難，能夠?qū)θ我饩S的圖像進(jìn)行多標(biāo)記的圖像分割，且允許構(gòu)造新的分割算法。通過(guò)交互，用戶可以觀察“進(jìn)化”的過(guò)程，并且可以在線(online)修正分割結(jié)果。該

9、算法具有簡(jiǎn)單、易于理解和實(shí)現(xiàn)的特點(diǎn)，并且由于采用了細(xì)胞自動(dòng)機(jī)，便于并行實(shí)現(xiàn)。在人機(jī)交互上，本方法的用戶接口直觀，方便使用，這是因?yàn)橛脩糁恍枰谀繕?biāo)的內(nèi)部和外部標(biāo)記一些輪廓點(diǎn)，感興趣（需要保護(hù)或者去除）的目標(biāo)對(duì)象是自動(dòng)地選擇的。實(shí)驗(yàn)結(jié)果說(shuō)明，把Growcut與Seam Carving相結(jié)合，感興趣的區(qū)域可以通過(guò)采用新的能量函數(shù)對(duì)圖像能量函數(shù)進(jìn)行更新，從而保護(hù)或者去除它們。該機(jī)制保證了檢測(cè)到的seams是優(yōu)化的?；趯?duì)象的操作是指在圖像中保

10、護(hù)或者去除目標(biāo)對(duì)象的過(guò)程。對(duì)于對(duì)象去除，通常包括兩個(gè)步驟:選擇對(duì)象和去除對(duì)象。在第一步中，對(duì)象去除通常是通過(guò)填補(bǔ)對(duì)象所在區(qū)域?qū)崿F(xiàn)的，而在本文中它是通過(guò)使用GrowCut方法實(shí)現(xiàn)的。它不需要填補(bǔ)整個(gè)對(duì)象，而只需要簡(jiǎn)單地選擇對(duì)象，因?yàn)镚rowCut算法可以把像素標(biāo)記過(guò)程視為細(xì)菌的增長(zhǎng)過(guò)程，從種子像素開(kāi)始直至占據(jù)整個(gè)感興趣區(qū)域。本文提出的方法以保護(hù)一幅圖像中的重要對(duì)象。并且，它的選擇過(guò)程是自動(dòng)的，更為高效。
　　下面對(duì)“交互式區(qū)域增長(zhǎng)”

11、與GrowCut進(jìn)行簡(jiǎn)單比較:區(qū)域增長(zhǎng)是一種經(jīng)典的圖像分割方法，用戶可以通過(guò)在感興趣的對(duì)象內(nèi)部選擇一些種子像素點(diǎn)，從而選擇整個(gè)像素區(qū)域。該方法的基本思路是從單一的種子像素開(kāi)始，通過(guò)添加鄰域像素增長(zhǎng)區(qū)域，需要滿足的條件是周圍的像素強(qiáng)度與區(qū)域像素的平均強(qiáng)度差小于某一固定的閥值。比較結(jié)果顯示，GrowCut更適合于從圖像中選擇目標(biāo)，原因在于它具有更好的交互性，允許用戶方便和直觀地進(jìn)行對(duì)象修正，從而可以保證得到更為平滑的對(duì)象邊緣。在區(qū)域增長(zhǎng)過(guò)程

12、中，它的主要問(wèn)題是當(dāng)增長(zhǎng)的區(qū)域通過(guò)弱邊緣時(shí)，可能導(dǎo)致缺損。因此，GrowCut可以滿足圖像縮放過(guò)程中用戶控制的要求，從而更好地去除或者保持對(duì)象。因此，我們采用GrowCut方法與Seam Carving結(jié)合。
　　第二，將Seam Carving方法與目標(biāo)檢測(cè)方法結(jié)合，提出了一種圖像/視頻縮放方法。該算法的基本思路是通過(guò)目標(biāo)檢測(cè)的方法，自動(dòng)地得到需要保護(hù)或者去除的目標(biāo)，從而避免人機(jī)交互的過(guò)程。為了得到更為準(zhǔn)確的目標(biāo)檢測(cè)結(jié)果，本文提

13、出的方法結(jié)合了視頻鏡頭分割與高斯混合模型。
　　鏡頭檢測(cè)是一個(gè)有效的視頻摘要方法，被用來(lái)從輸入的視頻中提取一些關(guān)鍵幀。在視頻中，包括三種類型的幀:I幀，P幀和B幀。因?yàn)橐曨l中包含了很多冗余信息，為了實(shí)現(xiàn)快速檢索，需要通過(guò)視頻摘要減少視頻中的重復(fù)信息，而視頻摘要中從視頻源中生成的或者提取的少量顯著圖像集。視頻摘要通?？梢暂^高效率地完成，因?yàn)樗ǔＶ焕靡曈X(jué)信息，并且不需要處理音頻和紋理信息。為了實(shí)現(xiàn)視頻摘要，首要的步驟是把視頻分解為

14、更小的單元，稱為鏡頭，然后，從每個(gè)鏡頭提取關(guān)鍵幀，代表緊湊的視頻摘要。高斯混合模型被用于從關(guān)鍵幀中檢測(cè)目標(biāo)。高斯混合模型可以處理多模背景，被廣泛應(yīng)用于運(yùn)動(dòng)目標(biāo)的檢測(cè)。為每個(gè)像素建立模型，并且每幀進(jìn)行更新。它有三個(gè)參數(shù)，逐像素逐幀進(jìn)行更新。與幀差法以及其他的背景減方法相比，高斯混合模型更適合于目標(biāo)檢測(cè)，因?yàn)樗鼘?duì)于復(fù)雜的背景具有適應(yīng)性，能夠得到更準(zhǔn)確的對(duì)象輪廓。最后，圖像能量通過(guò)選擇“保護(hù)”或者“去除”按鈕，進(jìn)行自適應(yīng)的調(diào)整。所有的這些步驟

15、只一個(gè)關(guān)鍵幀執(zhí)行一次，其他的關(guān)鍵幀通過(guò)對(duì)象跟蹤完成。實(shí)驗(yàn)結(jié)果說(shuō)明，把Seam Carving與對(duì)象檢測(cè)結(jié)合起來(lái)，可以很好地保護(hù)重要的視頻內(nèi)容，并且避免失真。此外，它可以節(jié)省視頻存儲(chǔ)空間的要求。該方法在從因特網(wǎng)上下載的多組視頻進(jìn)行測(cè)試，包括不同類型的視頻（背景簡(jiǎn)單的、背景復(fù)雜的、動(dòng)態(tài)背景的），總共大約70000幀。對(duì)高斯混合模型與幀差法進(jìn)行比較，結(jié)果顯示高斯混合模型是在圖像的每個(gè)像素上工作，而幀差法是對(duì)圖像之間進(jìn)行比較。因此，幀差法相對(duì)來(lái)

16、說(shuō)效率更高，但是檢測(cè)到的對(duì)象精度低。因?yàn)楦咚够旌夏Ｐ涂梢詫?shí)現(xiàn)更好的分割精度，它被選擇為目標(biāo)檢測(cè)的工具。使用本文提出的方法，優(yōu)勢(shì)在于:除了可以改善Seam Carving時(shí)圖像和視頻的視覺(jué)質(zhì)量外，它還減少了對(duì)于視頻存儲(chǔ)空間的要求。此外，結(jié)合Seam Carving與對(duì)象檢測(cè)，也可以進(jìn)行交互式的圖像縮放。通過(guò)結(jié)合結(jié)合Seam Carving與對(duì)象檢測(cè)，目標(biāo)對(duì)象（感興趣區(qū)域）是通過(guò)高斯混合模型檢測(cè)的。在對(duì)象檢測(cè)后，可以很方便地通過(guò)新的能量映射

17、引導(dǎo)Seam為優(yōu)化的seam,從而選擇要保留或者去除的目標(biāo)。實(shí)驗(yàn)結(jié)果說(shuō)明，通過(guò)結(jié)合結(jié)合Seam Carving與對(duì)象檢測(cè)，可以很好地保持圖像內(nèi)容且避免失真，此外還可以節(jié)省圖像存儲(chǔ)的空間。該方法同樣在從網(wǎng)絡(luò)上下載的圖像測(cè)試集上進(jìn)行測(cè)試，共包括了大約300張不同類型的圖像。我們同樣將它們分為兩種類型:簡(jiǎn)單背景，且只有一個(gè)目標(biāo)的圖像和復(fù)雜背景，或包含多個(gè)目標(biāo)的圖像。通過(guò)比較剪切法與本文提出的方法，可以觀察到剪切法只能夠保護(hù)一個(gè)感興趣區(qū)域。如果

18、一幅圖像在相反的角落包含了兩個(gè)感興趣區(qū)域，它將失效。然而，本文的方法仍然能夠保護(hù)所有的這些區(qū)域，因?yàn)樗梢酝ㄟ^(guò)去除低能量線而改變圖像的大小，而不需要失去任何重要的內(nèi)容。通過(guò)比較對(duì)象去除與本文的方法，對(duì)象去除是通過(guò)修復(fù)所有的對(duì)象改變圖像大小，而本文方法采用高斯混合模型進(jìn)行對(duì)象檢測(cè)，檢測(cè)輸入圖像中的對(duì)象。比較第一個(gè)工作中提出的GrowCut結(jié)合Seam Carving的方法和本方法，在前面的方法里，對(duì)象檢測(cè)是通過(guò)在對(duì)象內(nèi)部和外部劃線的方法選

19、擇的，但是在本方法中對(duì)象檢測(cè)是自動(dòng)完成的，無(wú)需勾劃對(duì)象的大致位置。
　　第三，同時(shí)結(jié)合Seam Carving與基于匹配區(qū)域的目標(biāo)檢測(cè)技術(shù)，提出了一種新的視頻縮放方法。該方法是基于匹配區(qū)域的，時(shí)域能量的調(diào)整允許每個(gè)關(guān)鍵幀進(jìn)行，去除優(yōu)化的像素，從而實(shí)現(xiàn)空域和時(shí)域連續(xù)的縮放視頻。同樣，對(duì)象檢測(cè)也是建立在高斯混合模型的基礎(chǔ)上檢測(cè)目標(biāo)。在目標(biāo)檢測(cè)后，可以很方便地在關(guān)鍵幀中選擇對(duì)象進(jìn)行保留或者去除，并且在關(guān)鍵幀之間進(jìn)行基于匹配區(qū)域的跟蹤。因

20、此，時(shí)域和空域的連續(xù)性都可以得到保證。鏡頭檢測(cè)用于從輸入的視頻中提取關(guān)鍵幀。我們使用高斯混合模型方法從關(guān)鍵幀中檢測(cè)目標(biāo)對(duì)象。多種目標(biāo)檢測(cè)算法已經(jīng)在系統(tǒng)中使用，使用最廣泛的是高斯混合模型。在從關(guān)鍵幀中提取目標(biāo)后，修改圖像能量。我們使用該檢測(cè)通過(guò)選擇“保護(hù)”或者“去除”，以改變關(guān)鍵幀的能量圖。對(duì)于目標(biāo)保護(hù)，能量被設(shè)置為一個(gè)較高的值;對(duì)于目標(biāo)去除，能量被設(shè)置為一個(gè)較低的值。這樣，采用修改后的能量實(shí)現(xiàn)了對(duì)關(guān)鍵幀的Seam Carving縮放。<

21、br>　　如果當(dāng)前關(guān)鍵幀是第一幀，我們跳過(guò)能量調(diào)整部分。否則，基于前面的Seam計(jì)算匹配區(qū)域，并且通過(guò)分配受獎(jiǎng)像素（R-區(qū)域）和受罰像素（P-區(qū)域）調(diào)整能量映射圖(EM)。實(shí)驗(yàn)結(jié)果說(shuō)明，該技術(shù)可以容易地去除或者保護(hù)視頻中的感興趣區(qū)域，并且存儲(chǔ)視頻所需的空間顯著減小。該方法在從網(wǎng)絡(luò)上下載的大量視頻上進(jìn)行測(cè)試，包括多種不同類型的視頻（簡(jiǎn)單背景、復(fù)雜背景和動(dòng)態(tài)背景）大約70000幀。通過(guò)比較SeamCarving方法與本文的方法可以得到，通過(guò)

22、本文的目標(biāo)檢測(cè)，可以選擇目標(biāo)，從而控制非感興趣區(qū)域的Seam線去除或者保護(hù)視頻中的重要目標(biāo)。這是通過(guò)在關(guān)鍵幀之間進(jìn)行區(qū)域匹配以及分配受獎(jiǎng)像素（R-區(qū)域）和受罰像素（P-區(qū)域）來(lái)完成的。此外，比較文獻(xiàn)中同類的基于匹配區(qū)域的方法(Yang Bo.etc)與本文方法，也可以發(fā)現(xiàn)本方法是對(duì)關(guān)鍵幀進(jìn)行處理，從而可以節(jié)省視頻縮放的時(shí)間。在視頻壓縮中，有三種類型的幀:I幀（關(guān)鍵幀），P幀和B幀。I幀是是完全指定幀，而P幀和B幀只包含部分圖像信息。但是

23、，在同類方法中，它是逐幀進(jìn)行處理的。我們的方法則控制感興趣區(qū)域，并且采用區(qū)域匹配技術(shù)，我們可以控制非感興趣區(qū)域，而同類方法只能控制感興趣區(qū)域。通過(guò)對(duì)采用區(qū)域匹配和不采用區(qū)域匹配方法（第二種方法）的比較，可以得到具有區(qū)域匹配的方法除了感興趣區(qū)域外，能夠得到其余區(qū)域的更好的Seams，而第二種方法只能夠保護(hù)感興趣區(qū)域。仿真與實(shí)驗(yàn)結(jié)果說(shuō)明，前面所提到的四種方法都可以方便地去除或者保護(hù)圖像與視頻之中的感興趣區(qū)域，最后一種方法還能夠?qū)Ψ歉信d趣區(qū)域

24、進(jìn)行處理。在進(jìn)一步的研究中，我們將持續(xù)在圖像與視頻編碼領(lǐng)域展開(kāi)，特別是利用提出的感興趣區(qū)域檢測(cè)方法，發(fā)展和改善文獻(xiàn)video condensation的結(jié)果?；镜乃悸肥遣捎肧eamCarving將圖像分解為兩個(gè)部分:關(guān)鍵/基礎(chǔ)圖像和Seams序列。這兩部分單獨(dú)進(jìn)行了編碼，并且合成為一個(gè)漸進(jìn)(progressive)碼流。根據(jù)顯示設(shè)備的分辨率，只傳輸和解碼必要的關(guān)鍵圖像和Seams序列。有兩種基本的思路:一是在編碼階段采用目標(biāo)對(duì)象檢測(cè)技

25、術(shù)，二是使用本文提出的方法得到的需要大小的圖像，并且在編碼過(guò)程中作為輸入圖像或者關(guān)鍵幀。該方法拓展了文獻(xiàn)video condensation的方法，對(duì)于視頻同樣適用。輸入圖像或者關(guān)鍵幀被劃分為兩部分，也就是關(guān)鍵圖像和附加的seams。關(guān)鍵圖像涵蓋了感興趣區(qū)域(ROI)，它是通過(guò)對(duì)象選擇得到的，且不希望在圖像縮放的過(guò)程中被修改。其余的Seams則方便在特定分辨率的范圍內(nèi)任意的縮放。在編碼端，采用SPIHT方法編碼關(guān)鍵圖像，它是一種基于小波

26、變換的高性能漸進(jìn)式圖像編碼器。邊信息(附加的Seams)包括Seams的位置和顏色，對(duì)它們進(jìn)行編碼。在解碼端，取決于希望的重建圖像的大小，所需要的Seams被解碼并且添加到關(guān)鍵圖像中。
　　通過(guò)這種方式，可以只編碼關(guān)鍵圖像中的感興趣區(qū)域和相對(duì)次重要的邊信息。邊信息的編碼則包含在每條Seam的起始部分，用一位指示它是一條列或者行Seam。接著是 Seam的每個(gè)像素的信息，包括它的位置與顏色。需要指出的是，在解碼階段添加Seams的順