基于空間一致生長的多視圖三維重建.pdf

1、多視圖三維重建直接從多幅二維圖像中恢復(fù)場景的三維結(jié)構(gòu)，是計算機視覺一個研究熱點，在工業(yè)檢測、逆向工程、城市規(guī)劃、文物與遺跡保護和展示等眾多領(lǐng)域有重要的應(yīng)用價值。隨著智能手機和高分辨、低成本圖像傳感器的大規(guī)模普及，表現(xiàn)出廣闊的應(yīng)用前景。近二十多年來出現(xiàn)了許多基于多視圖的三維重建算法，這些算法可大致分為三類:基于體積的算法、基于深度圖的算法和基于特征點生長的算法。要完美處理現(xiàn)實中各種復(fù)雜情況，如表面的快速起伏變化、細小結(jié)構(gòu)、微弱紋理特征、遮

2、擋效應(yīng)等，以達到更高的重建精度和重建完整度，同時保證高的重建效率，現(xiàn)有方法仍需改進提高。
　　本文提出了一種新的基于空間一致生長的多視圖三維重建算法，它基于特征點生長，但對傳統(tǒng)基于特征點生長的多視圖三維重建算法的整體框架進行了拓展，在現(xiàn)有三個環(huán)節(jié)（稀疏種子點提取、生長和濾波）基礎(chǔ)上，增加了一個新的環(huán)節(jié):利用已生長完畢的點進行有條件的初始值矯正，同時還對現(xiàn)有三個環(huán)節(jié)進行了更新改進，取得了明顯效果。全文工作和創(chuàng)新點總結(jié)如下。
　

3、　在稀疏種子點提取環(huán)節(jié)，提出了一種新的基于DAISY描述符的稀疏種子點提取方法。傳統(tǒng)SFM方法通常提取每幅圖像的SIFT特征點，通過特征點匹配提取稀疏種子點，往往由于匹配錯誤或失敗導(dǎo)致種子點質(zhì)量降低或數(shù)目減少。本文對每個特征點采用高性能DAISY描述符進行描述，然后沿對極線搜索與其DAISY特征最相似的點，提高了稀疏種子點的數(shù)量和精度，改變了傳統(tǒng)的在有限的特征點之間直接進行匹配的方式。為了保證上述方法順利實施，本算法提出了一系列配套措施

4、，如通過最佳選圖和少數(shù)特征點的匹配，采用隨機抽樣一致性方法計算圖像對之間的基礎(chǔ)矩陣。再如，在多幅圖中采用DAISY特征描述符沿對極線進行搜索，利用奇異值分解的方法求解在所有圖中均匹配成功的點的對應(yīng)空間位置，避免了單幅圖搜索可能存在的不確定性，同時利用重投影誤差濾除大誤差的點。最后，根據(jù)有條件的雙重二次曲面擬合來近似真實物體表面，求取種子點初始方向。以上種子點的提取和后續(xù)空間一致生長都是在多層圖像金字塔上進行的，進一步提高了算法效率和成功

5、率。
　　在生長環(huán)節(jié)，提出了一種空間一致生長策略。傳統(tǒng)方法需要依賴參考圖來尋找下一個生長點，即生長點的初始位置和方向是在一個局部坐標(biāo)系確定的，隨著參考圖的更換，局部坐標(biāo)系也隨之發(fā)生改變。另外為了避免從質(zhì)量不高的種子點生長出更低精度乃至錯誤的點，傳統(tǒng)算法對種子點進行排序，優(yōu)先從最優(yōu)種子點進行生長，這種串行算法限制了其計算效率。本文提出的算法從所有種子點出發(fā)無差別地同步向外擴張生長，非常適用于并行計算;同時在一個固定的世界坐標(biāo)系內(nèi)，直

6、接從每個種子點現(xiàn)有空間位置出發(fā)，沿其切平面確定生長點的空間初始位置，不需要間接依靠圖像尋找生長點，也不需要在每幅圖像上時刻記錄哪些點已經(jīng)生長完畢，有利于節(jié)省存儲空間。進一步通過后續(xù)初始值矯正與錯誤點濾除等措施，本算法有效防止了從質(zhì)量不高的種子點生長出更多低精度乃至錯誤的點，保證了每個空間點生長的相對獨立性。另外在生長優(yōu)化之前，從眾多視圖中挑選最佳主、副圖參與優(yōu)化，在優(yōu)化過程中及時更新最佳主、副圖以提高重建效率、精度和完整度，而傳統(tǒng)的方法

7、在生長點優(yōu)化過程中通常不更換主圖。同時，根據(jù)物體表面的紋理強弱自適應(yīng)地調(diào)整各種生長參數(shù)，如窗口大小和圖像金字塔層次等，以提高重建完整度。
　　在新增加的初值矯正環(huán)節(jié)，提出了有條件的雙重二次曲面擬合方法，根據(jù)已經(jīng)生長完畢的點來擬合真實物體表面，進而對初始值進行矯正。從理論上來說，每個點的生長都是獨立，即與其他區(qū)域是否已經(jīng)重建完畢無關(guān)。但在實際中，生長點的初值來源于鄰近種子點，如果初始值離真實表面較遠，可能導(dǎo)致無法收斂或收斂到一個局部

8、極小。通過初始值矯正可以有效地提高收斂速度和精度，為此首先判斷鄰域點是否足夠稠密且以生長點位中心，如果條件滿足，則進行第一次擬合，刪除大誤差點后進行第二次擬合，從而保證所擬合的曲面充分接近真實表面。接下來將生長點投影到擬合曲面，即可實現(xiàn)初始值矯正。
　　在濾波環(huán)節(jié)，設(shè)計了三個自適應(yīng)濾波器，分別根據(jù)光滑一致性、深度一致性和方向一致性原理，對誤差點進行檢測濾波。一方面保證了誤差點的有效濾除，另一方面又避免了正確點的無辜刪除。在濾波過程

9、中，為了排除局部曲率半徑、鄰域點密度、遮擋等因素的影響，首先進行條件判斷，決定是否濾波;如果進行濾波，則自適應(yīng)地調(diào)整濾波參數(shù)。
　　本文對來源于Middlebury標(biāo)準(zhǔn)數(shù)據(jù)庫、DTU標(biāo)準(zhǔn)數(shù)據(jù)庫、VGG多視圖三維重建數(shù)據(jù)庫和自己拍攝的不同類型實際場景進行了三維重建，均取得了較好的重建結(jié)果，證明本算法具有較好的穩(wěn)定性。與其他多視圖三維重建算法相比，本算法重建結(jié)果局部瑕疵與缺陷明顯減少。定量評估結(jié)果表明，無論重建精度與重建完整度，本算法