基于遮擋信息的局部立體匹配算法的研究.pdf

1、視覺是一個(gè)古老的研究課題，也是人類觀察和認(rèn)識(shí)世界的重要手段。利用機(jī)器來(lái)智能地模擬人的視覺功能是人們多年的夢(mèng)想。視覺生理學(xué)、視覺心理學(xué)，特別是計(jì)算機(jī)技術(shù)、數(shù)字圖像處理、計(jì)算機(jī)圖形學(xué)、人工智能等學(xué)科的發(fā)展，使得利用計(jì)算機(jī)模擬人類雙眼的視覺成為了可能。近年來(lái)，計(jì)算機(jī)視覺(ComputerVision)成為計(jì)算機(jī)行業(yè)一個(gè)重要的研究領(lǐng)域，取得了巨大的進(jìn)步并且得到了廣泛的應(yīng)用。比如運(yùn)動(dòng)目標(biāo)的自動(dòng)跟蹤與識(shí)別、空間機(jī)器人的視覺控制以及自主車導(dǎo)航等。

2、r>　　 視覺計(jì)算理論是在上世紀(jì)80年代初由Marr創(chuàng)立的。這一基本理論使得立體視覺成為計(jì)算機(jī)視覺的一個(gè)重要分支。雙目立體視覺(Binocular Stereo Vision)是計(jì)算機(jī)視覺的一個(gè)非常重要的形式。人時(shí)刻處在一個(gè)復(fù)雜的三維場(chǎng)景中，我們可以通過(guò)雙眼自動(dòng)地感知場(chǎng)景中所有物體距離我們的遠(yuǎn)近。雙目視覺的原理正是在充分理解人類視覺原理的基礎(chǔ)上使用計(jì)算機(jī)來(lái)模擬人類的雙目成像系統(tǒng)。具體來(lái)說(shuō)，是利用成像設(shè)備從不同位置獲取同一個(gè)物體的兩幅或

3、更多圖像，通過(guò)對(duì)兩幅圖像的對(duì)應(yīng)點(diǎn)進(jìn)行匹配，得到每一空間點(diǎn)的視差，來(lái)獲取所拍物體的三維幾何信息。
　　 一個(gè)雙目視覺算法主要包括三部分：攝像機(jī)定標(biāo)、立體匹配和三維重建。攝像機(jī)定標(biāo)是確定攝像機(jī)投影矩陣的過(guò)程。立體匹配是在兩幅輸入圖像中尋找對(duì)應(yīng)點(diǎn)，從而得到所有空間點(diǎn)的視差，即深度信息。三維重建是利用匹配結(jié)果提供的深度信息進(jìn)行三維建模?？梢钥闯隽Ⅲw匹配是雙目視覺算法絕對(duì)的核心，在整個(gè)重建過(guò)程中起到承上啟下的作用。
　　 立體匹配

4、(Stereo Matching)是雙目視覺中公認(rèn)的最重要和困難的問(wèn)題。最近二三十年，立體匹配得到了各國(guó)計(jì)算機(jī)視覺研究人員的廣泛關(guān)注和深入研究。該方向的研究已經(jīng)形成了較為規(guī)范的體系并且取得了長(zhǎng)足的發(fā)展。目前存在一個(gè)規(guī)范的平臺(tái)對(duì)立體匹配的結(jié)果進(jìn)行評(píng)估，并依據(jù)算法的結(jié)果排名。該平臺(tái)很好地促進(jìn)了各地研究人員的學(xué)術(shù)交流和立體匹配的發(fā)展。
　　 根據(jù)視差估計(jì)的準(zhǔn)則不同，立體匹配算法分為全局算法和局部算法兩大類。從實(shí)現(xiàn)的結(jié)構(gòu)上，匹配算法通常

5、包括四個(gè)步驟[1]：1、匹配費(fèi)用計(jì)算，2、匹配費(fèi)用聚合，3、視差值計(jì)算＼優(yōu)化，4、視差改良。全局算法把對(duì)應(yīng)點(diǎn)的匹配問(wèn)題轉(zhuǎn)化為一個(gè)能量函數(shù)的全局最優(yōu)問(wèn)題。局部算法通過(guò)比較像素鄰域窗口內(nèi)顏色值的相關(guān)性來(lái)尋找對(duì)應(yīng)點(diǎn)。一般說(shuō)來(lái)，全局算法比局部算法精度更高，但是由于局部算法結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)，而且速度更快，反而在實(shí)際應(yīng)中得到青睞。現(xiàn)在隨著自適應(yīng)權(quán)重思想[2]的引入，局部算法的精度越來(lái)越高，有些算法的效果甚至優(yōu)于大部分全局算法。
　　 立體

6、匹配問(wèn)題存在幾個(gè)研究的重點(diǎn)和難點(diǎn)，比如光學(xué)失真、低紋理、重復(fù)紋理、遮擋問(wèn)題。遮擋是其中最嚴(yán)重的一個(gè)，不僅被遮擋的點(diǎn)難以得到正確的視差值，它還會(huì)給遮擋區(qū)域附近的點(diǎn)的匹配帶來(lái)負(fù)面效果，這就是著名的前景膨脹(Fore ground Fattening)。研究人員十分重視遮擋問(wèn)題的研究，仍然不夠理想。特別是在局部立體匹配算法中，大部分算法都只是采取了簡(jiǎn)單的后續(xù)遮擋填補(bǔ)方案。這種基于左右一致性檢測(cè)的方案不但不能保證在任何時(shí)候都有好的效果，而且作為

7、一種雙向的后續(xù)處理，不夠優(yōu)雅。綜上所述，遮擋問(wèn)題既是局部匹配方法中的關(guān)鍵問(wèn)題，又是仍未得到很好解決的難點(diǎn)問(wèn)題。
　　 本文的研究主要圍繞遮擋問(wèn)題展開，研究目標(biāo)是為局部立體匹配中的遮擋處理這一難點(diǎn)的解決提供新的思路和新的方法，從而得到精度更高的視差圖，獲得更豐富的三維信息。這對(duì)計(jì)算機(jī)視覺相關(guān)理論的研究和機(jī)器人視覺、三維測(cè)量等實(shí)際應(yīng)用都有著重要的理論意義和實(shí)用價(jià)值。本文的主要工作包括：
　　 1、根據(jù)局部算法的核心--費(fèi)用聚

8、合方法把局部算法分成三類。該分類清晰地反映出局部算法的發(fā)展史，并能夠體現(xiàn)出局部算法未來(lái)的發(fā)展趨勢(shì)。
　　 2、遮擋檢測(cè)的理論和技術(shù)研究；由遮擋帶來(lái)的前景膨脹問(wèn)題的理論分析和解決方法；提出遮擋點(diǎn)在匹配時(shí)不應(yīng)該占有支持權(quán)的理論；將遮擋信息與目前最先進(jìn)的自適應(yīng)權(quán)重算法結(jié)合，提出了一種基于遮擋權(quán)重的局部算法。
　　 該算法提供了一種把遮擋處理與局部算法的核心無(wú)縫結(jié)合的途徑。它能較好地克服遮擋點(diǎn)不存在對(duì)應(yīng)點(diǎn)的困難，為遮擋點(diǎn)估計(jì)出更