全景圖技術研究.pdf

1、近年來，虛擬現(xiàn)實技術已成為計算機應用領域的研究熱點之一。它利用計算機多媒體技術在計算機系統(tǒng)中仿真真實世界的環(huán)境，通過計算機的相關設備來模擬人體的視覺、聽覺等真實感知，使參與者在其中產(chǎn)生與在真實環(huán)境中相同或相似的體驗。根據(jù)人類的生理特點，在各種感知中視覺感知占80％，視覺的模擬即虛擬場景的生成占有十分重要的地位，是虛擬現(xiàn)實中核心問題。
　　虛擬場景的生成技術通?？梢苑譃閮深悾夯趫D形的幾何繪制技術(GBR)和基于圖像的繪制(IBR)

2、技術。與GBR技術相比，IBR技術由于其獲取方便、計算量小、繪制速度快、真實感強等許多優(yōu)勢，從而成為計算機圖形學領域的一個新的研究熱點。IBR技術中全景圖技術最為熱門，目前國內(nèi)外都在積極研究全景圖的相關技術。全景圖是采集某一視點處的場景圖像，通過一系列的全景圖技術對這些圖像進行處理，建立在該視點處的場景模型，模擬用戶處于真實場景某一位置向四周觀察的視覺效果。
　　通常獲取全景圖需要高檔昂貴的硬件設備支持，這制約了全景圖技術的廣泛應

3、用，使用普通數(shù)碼相機的全景圖技術已成為目前的研究熱點。這種方法只需用戶手持普通數(shù)碼相機，在現(xiàn)實環(huán)境中某一視點位置，拍攝一些相互有重疊的圖像，全景圖的繪制可由計算機自動完成。但是由于手持相機采集圖像，尤其是采用自動對焦和曝光，會造成相鄰圖像之間的視角變化、旋轉、縮放、曝光差異、模糊等情形，這影響著全景圖的繪制以及全景圖的質量，從而提高了對全景圖技術的要求，如何快速、準確地生成高質量的全景圖成為研究的重點和難點。
　　本文研究基于普通

4、數(shù)碼相機的全景圖繪制技術，對全景圖繪制中的關鍵技術進行了深入的研究，提出了新的方法和算法。在此基礎上，提出了基于LPP-SIFT的全景圖繪制方法。本文所做的研究工作和創(chuàng)新如下：
　　(1)全景圖關鍵技術的研究
　　在采集圖像的過程中，場景中可能出現(xiàn)光照變化、物體運動，相機本身存在著平移、旋轉、傾斜等多種運動方式。這些因素都加大了全景圖繪制的難度。為了獲得高質量的全景圖，本文以魯棒的SIFT特征為基礎，對特征的提取和描述、特征

5、匹配、圖像配準、圖像融合等全景圖關鍵技術進行深入研究。
　?、俦疚囊許IFT特征為基礎，提出LPP-SIFT特征描述算法。
　　由于在SIFT特征提取過程中，浮點運算量大、提取速度慢，但又存在許多數(shù)據(jù)塊的獨立計算，所以利用GPU實現(xiàn)并行計算，將SIFT特征提取的速度提高近20倍。SIFT特征描述子是高維數(shù)據(jù)，存在存儲空間需求大、影響后期的特征匹配速度的不足。LPP-SIFT算法則利用LPP流形學習的思想，將SIFT特征描述子

6、線性降維，得到LPP-SIFT特征描述子，它保持特征描述子之間幾何結構不變。算法中分配適當?shù)臋嘀亟o描述子，增強描述子之間的可區(qū)分性。LPP-SIFT算法既節(jié)省描述子的存儲空間，又提高了特征匹配精度和速度。
　?、赟IFT描述子用梯度方向直方圖描述特征點，通常采用歐氏距離作為SIFT描述子相似性的度量，但這種度量方式是假定兩個直方圖的Bin必須是一一對應的，而且未考慮相鄰Bin之間的相關性，較容易出現(xiàn)特征匹配的誤判。本文提出FEMD

7、匹配算法，該算法把直方圖的比較轉化成EMD度量，考慮了相鄰Bin之間的相關，并將Bin間的基礎距離閾值化，把流網(wǎng)絡按閾值距離進行簡化，通過求解最小費用流得到特征向量(直方圖)之間的度量，從而實現(xiàn)特征之間的魯棒匹配。
　?、厶岢龌贔RRLM與BFS的無序圖像配準和分組方法。
　　FRRLM算法在三個方面改進了RANSAC算法：選擇質量好的樣本點和模型參數(shù)預檢驗來提高RANSAC計算效率；使用奇異值分解法SVD求解模型參數(shù)，避

8、免矩陣奇異導致最小二乘解的不穩(wěn)定性；用互映射的距離差平方和作為誤差評價函數(shù)，增強模型參數(shù)的穩(wěn)定性和可靠性。用浮點數(shù)計算坐標，提高模型參數(shù)的精度。在LM算法的迭代中對參數(shù)加以約束，加速迭代收斂，以適應圖像變換矩陣的參數(shù)優(yōu)化，提高了矩陣求精的效率。根據(jù)FRRLM算法保留的內(nèi)點數(shù)量，構造圖像匹配鄰接圖。兩次采用BFS廣度優(yōu)先搜索法搜索鄰接圖，獲取以基準圖像為初始拼接圖像的分組。這種方法具有實現(xiàn)簡單、分組準確的特點。
　?、芴岢龌贑TB

9、SL的融合算法。
　　首先，該算法在lαβ色彩空間中，利用圖像的均值、標準差等統(tǒng)計信息，對圖像的重疊區(qū)域進行色彩傳遞，實現(xiàn)有曝光差異的亮度自動調(diào)節(jié)。然后采用亮度差異和梯度差異的加權合成作為重疊區(qū)域圖像相似性的評價準則，亮度差異和梯度差異的權值由重疊區(qū)域曝光校正的系數(shù)啟發(fā)式調(diào)節(jié)，該算法找出的最佳縫合線能更好地達到消除鬼影現(xiàn)象的目的。
　　(2)提出基于LPP-SIFT的全景圖繪制方法
　　本文將以上全景圖關鍵技術的研究成

10、果運用于全景圖的繪制，提出基于LPP-SIFT的全景圖繪制方法。首先應用GPU加速的方法提取SIFT特征，再用LPP-SIFT描述子保留特征點幾何結構的同時實現(xiàn)線性降維。采用FEMD算法實現(xiàn)特征點的魯棒匹配，通過FRRLM算法剔除外點，對變換矩陣參數(shù)求精。對于任意的輸入圖像，用基于BFS方法實現(xiàn)圖像自動分組，根據(jù)需要用色彩傳遞的方法再將分組后的圖像進行亮度校正。把同一組中的圖像都投影到統(tǒng)一的坐標系中，再對相鄰圖像的重疊區(qū)域尋找最佳縫合線