視頻增強(qiáng)虛擬場景中PTZ相機(jī)注冊與融合方法研究.pdf

1、PTZ(Pan-Tilt-Zoom)相機(jī)在安防中廣泛應(yīng)用，用于安防領(lǐng)域的視頻監(jiān)控系統(tǒng)一般通過多路獨(dú)立的視頻監(jiān)視器觀看，由于視頻間是分散、相互獨(dú)立的，監(jiān)控人員往往因為信息不完整連貫而產(chǎn)生疏漏。視頻增強(qiáng)虛擬環(huán)境技術(shù)（AVE）通過把二維視頻嵌入三維虛擬場景，實現(xiàn)了虛景與實景相融合，抽象與現(xiàn)實相結(jié)合，有利于從宏觀上把握視頻與場景的空間關(guān)聯(lián)，為地理場景的認(rèn)知提供更為全面的時空信息，更為宏觀的觀察視角，更好地服務(wù)安防等領(lǐng)域。
　　視頻圖像與虛

2、擬三維場景融合的前提是相機(jī)在虛擬場景中的注冊。通過引入人工標(biāo)志物是相機(jī)注冊的常用方法，但這種方法難以應(yīng)用于相機(jī)動態(tài)調(diào)整的場景。大多數(shù)監(jiān)控相機(jī)都是可以動態(tài)調(diào)整姿態(tài)與焦距的PTZ相機(jī)，除非廠商軟件支持，無法實時獲取相機(jī)調(diào)整后的姿態(tài)和焦距等信息，從而造成視頻與場景無法準(zhǔn)確融合。本文基于計算機(jī)視覺的理論和技術(shù)，對PTZ相機(jī)視頻與虛擬三維場景的融合方法進(jìn)行了相關(guān)研究，主要研究內(nèi)容與成果如下:
　　(1)分析了相機(jī)的成像模型與虛擬場景中虛擬相

3、機(jī)的成像模型的關(guān)系，并明確了相機(jī)內(nèi)外參數(shù)與三維渲染引擎中虛擬相機(jī)設(shè)置參數(shù)的關(guān)系，在無需引入額外的人工標(biāo)志物的情況下，通過反投影方法獲得3D模型世界坐標(biāo)，然后利用線性方法快速估計和非線性方法迭代優(yōu)化求值相結(jié)合的方法，對視頻相機(jī)的初始參數(shù)進(jìn)行計算，實現(xiàn)相機(jī)在虛擬場景中的初始注冊。
　　(2)對PTZ相機(jī)參數(shù)的實時變化進(jìn)行了分析，提出了基于計算機(jī)視覺理論的PTZ相機(jī)實時跟蹤與注冊方法。該方法首先通過視頻幀全局特征快速檢測出相機(jī)參數(shù)是否發(fā)

4、生變化，然后再使用局部特征精確匹配對相機(jī)進(jìn)行實時注冊，確保PTZ相機(jī)調(diào)整后視頻與虛擬場景的自動準(zhǔn)確融合。上述方法既兼顧了融合效率與融合質(zhì)量，也避免了人工調(diào)整的繁瑣性和滯后性。
　　(3)在視頻相機(jī)已經(jīng)注冊的前提下，本文分析了虛擬相機(jī)投影視頻紋理的原理，并結(jié)合ShadowMap陰影算法和GPU Shader技術(shù)，基于OpensSceneGraph三維渲染引擎實現(xiàn)了PTZ相機(jī)視頻與虛擬三維場景的實時融合。
　　實驗結(jié)果驗證了本文