基于圖像拼接的視頻編輯.pdf

1、隨著電子信息產(chǎn)業(yè)的發(fā)展和技術(shù)進(jìn)步，能夠獲取、記錄視頻信息的設(shè)備如攝像機(jī)，攝像頭等日益普及，并隨之產(chǎn)生大量原始視頻數(shù)據(jù)。如何有效的利用計(jì)算機(jī)對(duì)這些視頻進(jìn)行檢索和再編輯引起了研究者的廣泛注意。由于視頻是由一系列相互聯(lián)系的圖像幀構(gòu)成，要達(dá)到讓計(jì)算機(jī)自動(dòng)處理視頻的目的，必須建立起不同圖像幀之間的聯(lián)系，隨之產(chǎn)生的圖像匹配分割問題是視覺和圖像處理領(lǐng)域的熱點(diǎn)和難點(diǎn)之一。考慮到視頻場景的內(nèi)在聯(lián)系，本文提出了通過構(gòu)造視頻的全景圖，利用手工與計(jì)算機(jī)相結(jié)合的

2、方法對(duì)全景圖進(jìn)行編輯，實(shí)現(xiàn)對(duì)視頻內(nèi)容的再編輯。建立全景圖需要完成運(yùn)動(dòng)參數(shù)估計(jì)，運(yùn)動(dòng)物體分割，圖像拼接等計(jì)算過程。而在拼接完成的全景圖上對(duì)視頻內(nèi)容進(jìn)行編輯將變得簡單有效并且易于實(shí)現(xiàn)。本文依次研究建立全景圖過程中的主要技術(shù)問題，并給出在全景圖基礎(chǔ)上對(duì)視頻進(jìn)行編輯的具體方法。 實(shí)現(xiàn)視頻全景圖拼接的第一步是對(duì)攝像機(jī)運(yùn)動(dòng)參數(shù)的求解并建立視頻中各幀圖像之間的關(guān)系以及二維圖像與三維空間對(duì)應(yīng)關(guān)系。本文第二章對(duì)此問題進(jìn)行了詳細(xì)討論，提出利用各幀圖

3、像的Harris角點(diǎn)特征，進(jìn)行匹配，建立起對(duì)應(yīng)關(guān)系，并采用RANSAC對(duì)匹配的結(jié)果進(jìn)行投票選擇來保證匹配結(jié)果的魯棒性和準(zhǔn)確性的方法。利用匹配結(jié)果，可以求出各幀圖像間的透視變換矩陣和攝像機(jī)拍攝時(shí)的內(nèi)外參數(shù)。 由于視頻序列中可能會(huì)有運(yùn)動(dòng)物體存在，這會(huì)對(duì)全景圖拼接過程產(chǎn)生干擾。本文第三章研究了當(dāng)視頻中的運(yùn)動(dòng)物體有較大范圍的運(yùn)動(dòng)時(shí)，對(duì)其進(jìn)行分割的方法。本文提出一種兩步算法，首先利用幀差法(Frame difference)來快速定位運(yùn)動(dòng)

4、物體的位置，之后利用均值偏移法(Mean—Shift)準(zhǔn)確估計(jì)運(yùn)動(dòng)物體的邊緣并利用圖切割(Graph-Cut)方法建立兩者之間聯(lián)系。考慮到視頻的運(yùn)動(dòng)連續(xù)性，本文同時(shí)引入前一幀分割結(jié)果來約束當(dāng)前幀的分割。該算法同時(shí)利用了幀差法，均值偏移法的優(yōu)點(diǎn)，能夠快速準(zhǔn)確的分割在視頻場景中出現(xiàn)的運(yùn)動(dòng)物體。 得到運(yùn)動(dòng)參數(shù)和運(yùn)動(dòng)物體分割結(jié)果之后，可從視頻幀中合成全景圖，本文第四章討論了二種圖像拼接采用的模型：平面投影模型和柱面投影模型。柱面投影模型

5、假設(shè)攝像機(jī)的光心固定，攝像機(jī)在同一平面內(nèi)轉(zhuǎn)動(dòng)。實(shí)際視頻拼接過程中，經(jīng)常會(huì)有因?yàn)槭殖謹(jǐn)z像機(jī)轉(zhuǎn)動(dòng)時(shí)出現(xiàn)的光軸傾斜而導(dǎo)致拼接后的圖像發(fā)生卷曲的現(xiàn)象。對(duì)此，本文給出了一個(gè)求柱面投影時(shí)圓柱最佳中心軸，來抵消卷曲的解決方案。同時(shí)，考慮到在攝像機(jī)運(yùn)動(dòng)過程中由于光照的影響，成像時(shí)白平衡和曝光補(bǔ)償量不同而導(dǎo)致圖像顏色不一致的情況，本文給出了利用有效對(duì)應(yīng)點(diǎn)的直方圖匹配求出圖像的校正參數(shù)，對(duì)視頻各幀圖像進(jìn)行顏色校正的解決方法。與傳統(tǒng)方法相比，該方法可以消除錯(cuò)

6、誤對(duì)應(yīng)點(diǎn)對(duì)校正參數(shù)帶來的影響。 得到視頻全景圖后就將視頻序列轉(zhuǎn)變成了全景圖表示。因此，對(duì)視頻進(jìn)行編輯包含對(duì)全景圖像進(jìn)行編輯的過程。本文第五章討論比較并改進(jìn)了三種圖像編輯方法：手工交互圖像移植(healing brush)、平滑圖像半自動(dòng)修復(fù)(In—painting)和紋理圖像半自動(dòng)恢復(fù)(texturlesynthesis)。其中第一種算法適用于為修改區(qū)域指定填充信息，第二種算法適用于編輯和修復(fù)平滑區(qū)域或者比較窄的帶狀區(qū)域，第三種

7、算法適用于普通或者含有紋理的圖像區(qū)域。本文改進(jìn)了平滑圖像修復(fù)算法，使之可以實(shí)時(shí)實(shí)現(xiàn)。同時(shí)對(duì)于紋理圖像的編輯算法，定義了新的距離度量，減小其對(duì)顏色的依賴性。文中進(jìn)行的實(shí)驗(yàn)證明了算法的有效性。本文第六章給出了在得到全景圖后，實(shí)際進(jìn)行視頻編輯方法的三種應(yīng)用：運(yùn)動(dòng)全景圖生成、視頻中運(yùn)動(dòng)物體的去除、視頻圖像的修復(fù)與編輯。在實(shí)際處理視頻的過程中，可能會(huì)遇到視頻抖動(dòng)及運(yùn)動(dòng)補(bǔ)償導(dǎo)致的黑邊等問題。針對(duì)這些具體問題，本文分別討論了相應(yīng)的算法和解決方案，并給