單目交通視頻場(chǎng)景流估計(jì)及其增強(qiáng)現(xiàn)實(shí)的研究.pdf

1、從圖像中得到相機(jī)成像環(huán)境的幾何結(jié)構(gòu)和場(chǎng)景中物體的運(yùn)動(dòng)信息一直是計(jì)算機(jī)視覺的研究核心之一。視頻作為連續(xù)圖像的集合，在提供了圖像已有色彩信息外，還為目前的圖像算法提供了幾何與時(shí)間約束。隨著無(wú)人駕駛技術(shù)的發(fā)展，在定位或測(cè)距信息之外，基于攝像頭的場(chǎng)景理解和運(yùn)動(dòng)識(shí)別可從另一個(gè)維度指導(dǎo)行車，于是結(jié)合相機(jī)信息的單目交通視頻處理，成為了目前圖像算法研究的重點(diǎn)。
　　通過(guò)研究單目相機(jī)針孔模型，標(biāo)定得到相機(jī)參數(shù)，結(jié)合成像過(guò)程中的坐標(biāo)變換，可以得到世界

2、空間點(diǎn)和圖像空間像素的對(duì)應(yīng)關(guān)系。本文針對(duì)目前無(wú)人駕駛的需求，結(jié)合單目交通視頻的特性和相機(jī)成像流程，展開如下研究：
　　由于目前無(wú)人駕駛需要大量包括空間物體運(yùn)動(dòng)信息在內(nèi)的環(huán)境感知數(shù)據(jù)，本文結(jié)合單目標(biāo)定矩陣和相機(jī)外參，提出單目動(dòng)態(tài)相機(jī)的場(chǎng)景流估計(jì)算法，為空間運(yùn)動(dòng)分割和包圍盒碰撞檢測(cè)提供點(diǎn)云位置和運(yùn)動(dòng)域信息。算法首先根據(jù)視頻的時(shí)空一致性提出三個(gè)重要假設(shè)，公式化為能量泛函的數(shù)據(jù)項(xiàng)；然后根據(jù)場(chǎng)景流和深度分布的特性，提出一個(gè)各項(xiàng)同性和一個(gè)各向

3、異性平滑算子，作為能量泛函的約束項(xiàng)；除此之外，針對(duì)運(yùn)動(dòng)帶來(lái)的遮擋，算法提出遮擋點(diǎn)掩碼算法；在此之后的極小值求解中，通過(guò)使用歐拉-拉格朗日公式重寫泛函，得到求解的非線性迭代公式，再通過(guò)結(jié)合高斯金字塔的兩層迭代，得到場(chǎng)景流的估計(jì)結(jié)果。最后，通過(guò)在多個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)得到結(jié)果，并與當(dāng)前通用雙目場(chǎng)景流算法的實(shí)驗(yàn)結(jié)果比較，評(píng)估算法有效性，證明其與多目場(chǎng)景流算法相比，具有更大靈活性。
　　目前針對(duì)交通視頻的機(jī)器視覺研究廣泛開展，但由于交通場(chǎng)景

4、具有高度動(dòng)態(tài)性，不同天氣條件，不同行車環(huán)境的數(shù)據(jù)集采集非常困難，并且需要耗費(fèi)巨大的時(shí)間和人力成本。對(duì)此，本文結(jié)合單目標(biāo)定參數(shù)，提出一個(gè)增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)集生成系統(tǒng)，其將現(xiàn)有單目交通視頻和標(biāo)定參數(shù)作為輸入，遵循幾何一致性原則，將虛擬模型加入到場(chǎng)景，生成多樣化的交通場(chǎng)景視頻數(shù)據(jù)集，解決目前數(shù)據(jù)集種類單一，特殊條件數(shù)據(jù)集難以采集的問(wèn)題。該系統(tǒng)使用三維引擎作為空間渲染的工具，使用圖像處理庫(kù) OpenCV作為視頻加載工具，使用WPF作為界面工具，首先將