序列圖像光流計(jì)算關(guān)鍵技術(shù)研究及其在三維重建中的應(yīng)用.pdf

1、光流描述了可由視覺感知的運(yùn)動(dòng)，被廣泛的應(yīng)用于機(jī)器人自動(dòng)導(dǎo)航、無人汽車輔助駕駛、人臉表情動(dòng)態(tài)跟蹤等領(lǐng)域，是進(jìn)行目標(biāo)運(yùn)動(dòng)分析與理解的重要手段，一直是計(jì)算機(jī)運(yùn)動(dòng)視覺及相關(guān)領(lǐng)域的重要研究?jī)?nèi)容。經(jīng)過近30年的發(fā)展，光流算法的很多基礎(chǔ)問題得到解決，應(yīng)用環(huán)境由最初實(shí)驗(yàn)室內(nèi)理想光照條件、人工布置目標(biāo)，逐步向室外未知環(huán)境、未知目標(biāo)擴(kuò)展。應(yīng)用環(huán)境的擴(kuò)展意味著光流算法越來越多的應(yīng)用于實(shí)際工程。與此同時(shí)，應(yīng)用環(huán)境與目標(biāo)的未知性都對(duì)已有的光流算法提出了新的挑戰(zhàn)，

2、如光照隨機(jī)變化、小目標(biāo)高速運(yùn)動(dòng)產(chǎn)生大位移、目標(biāo)物之間的相互遮擋、光流計(jì)算正確性的自評(píng)估與自校正等。
　　本論文針對(duì)光流計(jì)算關(guān)鍵技術(shù)及在三維重建中的應(yīng)用展開研究，著重研究了不同光照條件下光流自適應(yīng)算法、光流計(jì)算誤差的自評(píng)估與自校驗(yàn)算法、三維重建中高精度匹配方法與冗余點(diǎn)刪除問題。主要工作如下:
　　(1)由于實(shí)際場(chǎng)景中光照變化的必然性與隨機(jī)性，光流算法必須能對(duì)光照變化自適應(yīng)。以光照模型和相機(jī)成像模型為依據(jù)，分析了實(shí)際圖像采集過程

3、中影響光照變化的因素，將光照變化分為兩類:一類是由進(jìn)入CCD(Charge Coupled Device)光輻照度產(chǎn)生突變而引起的光照變化;另一類是由物體與相機(jī)相對(duì)運(yùn)動(dòng)占主導(dǎo)而產(chǎn)生的光照變化。通過兩幀圖像灰度直方圖分布差異確定當(dāng)前圖像的光照變化類型。如果是第一類光照變化，采用改進(jìn)的Census變換作為光流模型的數(shù)據(jù)項(xiàng)。與傳統(tǒng)的Census變換相比，改進(jìn)的Census變換包含了中心像素和鄰域像素完整的灰度相對(duì)大小信息，在保持抗光照單調(diào)變化

4、能力的同時(shí)，不同的圖像子塊間具有更強(qiáng)的分辨力。如果是第二類光照變化，則以改進(jìn)的Census變換和紋理特征的加權(quán)和作為光流模型的數(shù)據(jù)項(xiàng)，通過均值場(chǎng)近似理論求解每個(gè)像素對(duì)應(yīng)的不變量權(quán)值。相比于多個(gè)數(shù)據(jù)項(xiàng)分量固定權(quán)重模型，所提出的自適應(yīng)權(quán)重模型與像平面不同區(qū)域亮度變化規(guī)律更吻合。以Middlebury和KITTI數(shù)據(jù)庫(kù)中圖像為測(cè)試樣本驗(yàn)證了所提算法的有效性。
　　(2)光流算法應(yīng)用于實(shí)際工程時(shí)，需要保證輸出結(jié)果具有一定的精度。當(dāng)前，各大

5、標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)對(duì)光流算法精度的評(píng)估均是通過和真實(shí)光流進(jìn)行對(duì)比。然而，在實(shí)際工程中，場(chǎng)景和目標(biāo)的真實(shí)光流是未知的。因此，光流計(jì)算精度的自評(píng)估和自校正是光流算法勝任未知環(huán)境視覺任務(wù)的先決條件。針對(duì)此，根據(jù)兩幀圖像中匹配點(diǎn)與光流值等價(jià)的原則，提出一種基于離散可信匹配點(diǎn)的光流校正和誤差評(píng)估方法。首先，采用圖像分割算法將圖像分割為不同的區(qū)域。接著，在像平面內(nèi)檢測(cè)可信匹配點(diǎn)，以此匹配點(diǎn)為種子點(diǎn)，對(duì)其鄰域點(diǎn)進(jìn)行光流誤差評(píng)估與校正。所提算法的關(guān)鍵點(diǎn)是確定數(shù)

6、量多、分布廣、精度高的可信匹配點(diǎn)與設(shè)計(jì)有效的校正方法。①為得到數(shù)量多、精度高的匹配點(diǎn)，提出了利用兩幀圖像空間幾何關(guān)系的雙閾值SIFT(Scale Invariant Featuretransform)匹配算法。首先，在低閾值下，得到精度高的匹配點(diǎn)，并用這些點(diǎn)計(jì)算兩視圖的對(duì)極幾何關(guān)系與空間拓?fù)浣Y(jié)構(gòu)關(guān)系;再以此關(guān)系為約束去除高閾值下精度低的匹配點(diǎn)。②為得到分布廣的匹配點(diǎn)，提出基于HOG特征與空間幾何約束的區(qū)域匹配算法。以第1幀圖像上每個(gè)區(qū)域

7、的內(nèi)接四邊形為模板，在第2幀圖像上搜索與之匹配的區(qū)域。為減小搜索范圍，設(shè)計(jì)了極線約束和鄰域方向約束。為避免灰度變化平緩區(qū)域匹配誤差大而給校正帶來誤差，設(shè)計(jì)了測(cè)度灰度變化算子，僅對(duì)滿足一定條件的區(qū)域計(jì)算對(duì)應(yīng)的匹配區(qū)域。③為保證校正的有效性，提出了非運(yùn)動(dòng)、遮擋邊界光流平滑過渡判定準(zhǔn)則，并對(duì)校正后的光流值施加極線約束，進(jìn)行二次判定。以KITTI數(shù)據(jù)庫(kù)圖像為測(cè)試樣本，實(shí)驗(yàn)結(jié)果如下:KITTI數(shù)據(jù)庫(kù)194組圖像，光流誤差平均降低7.04％，最大可

8、降低31.25％，該結(jié)果證實(shí)了所提算法的有效性。
　　(3)將光流算法應(yīng)用于序列圖像場(chǎng)景稠密三維重建。針對(duì)三維重建中誤匹配問題，提出一種兩步匹配算法。首先以光流算法計(jì)算兩個(gè)視圖的初始匹配點(diǎn)，然后用三視圖幾何約束去除誤匹配點(diǎn)。針對(duì)多視圖三維重建過程中，隨著重建視圖的增加，三維冗余點(diǎn)不斷增加的現(xiàn)象，利用多視圖幾何關(guān)系自動(dòng)判斷當(dāng)前重建的點(diǎn)云在之前的視圖中是否被重建。如果已被重建，則在兩次重建的點(diǎn)云中保留反投影殘差較小的點(diǎn);如果未被重建，