攝相機標定

1、攝相機標定,,中國科學院自動化研究所模式識別國家重點實驗室http://www.nlpr.ia.ac.cn/english/rv,主要內容,1、引言：什么是攝相機標定2、攝相機標定方法的分類3、傳統(tǒng)攝相機標定方法（或利用景物信息的標定方法）4、主動視覺攝相機標定方法5、攝相機自標定方法,1、引言,,視覺目的,三維重建是人類視覺的主要目的，也是計算機視覺的最主要的研究方向. (Marr 1982)所謂三維重建就是指從圖象出發(fā)

2、恢復出空間點三維坐標的過程。三維重建的三個關鍵步驟 圖象對應點的確定 攝像機標定 二圖象間攝像機運動參數(shù)的確定,1、世界坐標系： 2、攝像機坐標系：3、圖像坐標系:,,,坐標系,在 中的坐標為 象素在軸上的物理尺寸為,Affine Transformation :,圖像數(shù)字化,齊次坐標形式:,其中,攝像機的內參數(shù)矩陣 K,2、攝相機標定方法分類,,分三類,傳統(tǒng)攝像機標定方法主動視覺攝像機標定方法

3、攝像機自標定方法,1. 傳統(tǒng)的攝像機標定方法,特點利用已知的景物結構信息。常用到標定塊。,1. 傳統(tǒng)的攝像機標定方法,優(yōu)點 可以使用于任意的攝像機模型，標定精度高不足 標定過程復雜，需要高精度的已知結構信息。 在實際應用中很多情況下無法使用標定塊。,2. 主動視覺攝像機標定方法,特點 已知攝像機的某些運動信息優(yōu)點 通?？梢跃€性求解，魯棒性比較高不

4、足 不能使用于攝像機運動未知和無法控制的場合,3. 攝像機自標定方法,特點 僅依靠多幅圖像之間的對應關系進行標定優(yōu)點 僅需要建立圖像之間的對應，靈活性強，潛在 應用范圍廣。不足 非線性標定，魯棒性不高,3、攝像機傳統(tǒng)標定方法,,主要內容,4.1、DLT方法4.2、R

5、AC方法4.3、張正友的平面標定方法(ICCV, 1999)4.4、孟胡的平面圓標定方法(PR, 2003)4.5、吳毅紅等的平行圓標定方法(ECCV, 2004),,4.1、直接線性變換（DLT變換）,DLT: Direct Linear Transformation,Abdal-Aziz和Karara于70年代初提出了直接線性變換像機定標的方法，他們從攝影測量學的角度深入的研究了像機圖像和環(huán)境物體之間的關系，建立了像機

6、成像幾何的線性模型，這種線性模型參數(shù)的估計完全可以由線性方程的求解來實現(xiàn)。,直接線性變換是將像點和物點的成像幾何關系在齊次坐標下寫成透視投影矩陣的形式：,,其中 為圖像坐標系下的點的齊次坐標， 為世界坐標系下的空間點的歐氏坐標， 為 的透視投影矩陣， 為未知尺度因子。,,,,,,消去 ，可以得到方程組:,當已知 個空間點和對應的圖像上的點時，可以得到一個含有2* 個方程的方程組：,,,其中

7、 為 的矩陣， 為透視投影矩陣元素組成的向量 。,,,像機定標的任務就是尋找合適的 ，使得 為最小，即,,給出約束：,,,,,,,為 的前11個元素組成的向量， 為 前11列組成的矩陣， 為 第12列組成的向量。,是否合理？,約束 不具有旋轉和平移的不變性,解將隨著世界坐標系的選取不同而變化.,證明

8、：世界坐標系作剛性坐標變換,,,則,顯然在一般的情況下,,另一個約束 具有旋轉和平移的不變性,,,,,,,,,,,,由,,,,,,,,向量 , , 是兩兩垂直的單位向量,,4.2、R. Tsai 的 RAC的定標算法,,,,,,80年代中期Tsai提出的基于RAC的定標方法是計算機視覺像機定標方面的一項重要工作，該方法的核心是利用徑向一致約束來求解除 （像機光軸方向的平移）外的

9、其它像機外參數(shù)，然后再求解像機的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復雜性，因此其定標過程快捷，準確。,簡 介,像機模型 徑向一致約束 定標算法,主要內容,,,,,,,,,,,,,,,,,,,,,,世界坐標系和攝像機坐標系的關系,像機模型,,,,,,,,,,,x,y,在Tsai的方法中，K 取作：,,,,理想圖像坐標到數(shù)字圖像坐標的變換（只考慮徑向偏差）,像機模型,(u, v)

10、為一個點的數(shù)字化坐標，（x, y）為理想的數(shù)字化坐標，（uc, vc）為畸變中心。,,,,（uc, vc）,(u, v),（x, y）,徑向一致約束,,,,,,,,,,,,,,,在圖像平面上，點（xc, yc），（x, y），（u, v) 共線，或者直線(xc, yc)(x, y)與直線（ xc, yc ）（ u, v ）平行或斜率相等，則有：,通常把圖像中心取作畸變中心和主點的坐標，因此：,定標算法,,定標算法——步驟一,1.求解像機

11、外參數(shù)旋轉矩陣 和 、 方向上的平移,,,定標算法——步驟一,,,,,定標算法——步驟一,,,,,,,,,,定標算法——步驟二,,,,,,,,,2. 求解t3, f, k1,k1=0 作為初始值，則：,定標算法——步驟二,,,定標算法——步驟二,,,,,,將求出的 和 連同 作為初始值，對下式進行非線性優(yōu)化,估計出 、 和 的真實值。,4.3、張正友的平面標定方法,,張正友方法,張正友方法,,基本原理：,,在這

12、里假定模板平面在世界坐標系 的平面上 其中， 為攝像機的內參數(shù)矩陣， 為模板平面上點的齊次坐標， 為模板平面上點投影到圖象平面上對應點的齊次坐標， 和 分別是攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量,,H,,,根據(jù)旋轉矩陣的性質，即 和

13、 ，每幅圖象可以獲得以下兩個對內參數(shù)矩陣的基本約束,由于攝像機有5個未知內參數(shù)，所以當所攝取得的圖象數(shù)目大于等于3時，就可以線性唯一求解出,張正友方法,張正友方法所用的平面模板,張正友方法,算法描述,張正友方法,打印一張模板并貼在一個平面上從不同角度拍攝若干張模板圖象檢測出圖象中的特征點求出攝像機的內參數(shù)和外參數(shù)求出畸變系數(shù)優(yōu)化求精,,張正友方法,張正友的平面標定方法是介于傳統(tǒng)標定方法和自標定方法之間的

14、一種方法。它既避免了傳統(tǒng)方法設備要求高，操作繁瑣等缺點，又較自標定方法精度高，符合辦公、家庭使用的桌面視覺系統(tǒng)(DVS)的標定要求。張的方法的缺點是需要確定模板上點陣的物理坐標以及圖像和模板之間的點的匹配，這給不熟悉計算機視覺的使用者帶來了不便。,4.4、孟曉橋、胡占義的圓標定方法,,孟胡方法,,孟胡方法,從至少三個不同方位拍攝模板圖象，根據(jù)射影不變性計算出每幅圖象上的圓環(huán)點像的坐標，得到關于內參數(shù)矩陣的至少六個方程，即可解出所有內

15、參數(shù)。,孟胡方法,計算圓環(huán)點像的原理：,圓環(huán)點為無窮遠點，它是絕對二次曲線上的一對共軛點,(1,i,0,0) (1,-i,0,0) 是一對圓環(huán)點,孟胡方法,在圖像上，兩個圓環(huán)點的圖像 被計算出，則有：,,,,孟胡方法,孟胡的方法與張的方法相比： 過程相似； 所用的模版不同，孟胡的方法基于曲線擬合（穩(wěn)定），并且不需要任何匹配，而張的方法基于點，需要匹配模版的點和圖像點。,4.5、吳等的平行

16、圓標定方法,,吳等的標定方法,平行圓：同一個平面上的圓、或平行平面上的圓。原理：利用攝像機成像的準仿射不變性，計算圖像上二此曲線的交點，得到圓環(huán)點的圖像,進而：,該方法從平行圓的最小個數(shù)出發(fā)，基于準仿射不變性，分析了所有可能情況的計算圓環(huán)點的方法,吳等的標定方法,共面分布：,吳等的標定方法,以上可進行推廣到非共面的平行圓的情形,,吳等的標定方法,利用K重建一個垂直角；重建平行線之間的交角,,,,,吳等的標定方法,該方法和以往的基于圓的

17、標定方法相比:(1). 從最小個數(shù)出發(fā);(2). 計算圓環(huán)點圖像簡單;(3).只需要從擬合的二次曲線出發(fā), 不需要任何匹配, 不需要計算圓心;(4). 應用場合廣泛, 不僅僅限于平面的情形. 可應用基于轉盤的重構。,吳等的標定方法,應用：定標用于基于轉盤的3維重建中：See an image,4、主動視覺標定方法,,胡占義等的主動視覺標定方法,基于平面單應矩陣的正交運動方法基于外極點的正交運動方法,胡主動視覺標定方

18、法,基于平面單應矩陣的正交運動方法原理 是攝像機一組正交的平移運動，兩個單應矩陣： 滿足：,,,,,胡主動視覺標定方法,基于平面單應矩陣的正交運動方法原理即： ，其中 五組兩正交運動可完全求解5個內參數(shù)。,,胡主動視覺標定方法,第1、2幅圖像在第0幅圖像的外極點分別是：

19、 則：,,基于外極點的正交運動方法原理,,,,,,0,1,2,胡主動視覺標定方法,基于外極點的正交運動方法原理 從而： 五組兩正交運動可完全求解5個內參數(shù)。,胡主動視覺標定方法,這兩種主動視覺標定方法與最經典的主動視覺標定方法（馬頌德的三正交運動法）相比，具有如下優(yōu)點： 照相機的二正交運動比三正交運動更容易實現(xiàn)。 可以求解攝像機的所有5個內參數(shù)，馬頌德的 方法可以求解4個內參數(shù)。,5、攝像機自標定方法

20、,,攝像機自標定,中國科學院自動化研究所模式識別國家重點實驗室,主要內容,1、預備知識： 什么是攝像機自標定 ？ 為什么要對攝像機進行自標定 ？ 對極幾何…… 2、基于Kruppa方程的自標定方法 3、基于絕對二次曲面、無窮遠平面的自標定方法 4、幾種自標定方程的關系,1、預備知識,,攝像機自標定是指不需要標定塊，僅僅通過圖象點之間的對應關系對攝像機進行標定的過程。,什么

21、是自標定？,為什么要進行自標定？,實際應用的需求，主要應用場所的轉移,優(yōu)缺點：,優(yōu)點：靈活，方便缺點：精度不太高，魯棒性不足,自標定的基本假設及任務,1、假定圖象點之間的對應關系已經確定。2、一般來說，認為在拍攝不同圖象時，攝像機的內參數(shù)沒有發(fā)生變化,3、所謂的自標定，就是要標定攝像機的內參數(shù)矩陣K,一些預備知識,1、點的齊次坐標二個齊次坐標如相差一個非零因子，則這二個齊次坐標相同,2、無窮遠直線上的點如點

22、 為無窮遠直線上的點，則 t =0,一些預備知識,3、通過二點的直線 如果 為二圖象點，則通過該二點的直線的參數(shù)向量為：,,,,L,x1,x2,一些預備知識,反對稱矩陣（Anti-symmetric or Skew-Symmetric matrix),給定向量 ，其對應的

23、反對稱矩陣定義為：,則對應任意的向量 b, 有,一些預備知識,對偶原理,如果 C為一非退化的圖象二次曲線，即：,則,過x 處的切線參數(shù)向量為：,則 , 代入上式可得：,,,,,對偶線坐標曲線,,點坐標曲線,一些預備知識,對偶曲線示意圖,C,,,,,,點坐標曲線,對偶線坐標曲線,x1,x2,x3,一些預備知識,歐幾理得空間下的投影矩陣,如果X 為空間某一點，兩攝像機間的坐標變換為：,則歐

24、幾理得空間下的兩投影矩陣為：,K 為攝像機的內參數(shù)矩陣,其中 X為空間點，ml, mr 對應于X 的一對圖象對應點,投影關系,一些預備知識,對極幾何（Epipolar Geometry),,,,N,,,,一些預備知識,基本矩陣的推導及形式,F 的秩為2，F(xiàn)在相差一個常數(shù)因子下是唯一確定的。F 可以通過8對圖象對應點線性確定。,一些預備知識,對極幾何的一些代數(shù)性質,基本矩陣和外極點的關系,,所有的外極線都過對應的外極點，外極點是光心連線與

25、圖象平面的交點。對應外極線束構成一射影變換,如果 m位于極線l上，n’ 位于極線l’上，m, n’不一定是對應點,下述關系仍然成立：,,一些預備知識,,,,,,,,一些預備知識,,中心投影下，如果射影平面與空間曲線相切，則射影平面與圖象平面的交線必與空間曲線在圖象平面上的投影曲線相切,,,圖象平面,空間曲線,一些預備知識,絕對二次曲線 攝像機自標定的參考標定物,絕對二次曲線是無窮遠平面上的一條二次曲線，它的數(shù)學定義為：,一些預備知識,

26、絕對二次曲線在圖象上投影的性質,絕對二次曲線的象僅與攝像機的內參數(shù)有關，與攝像機的運動參數(shù)無關,,從定義 XTX＝0 知，,給定正定矩陣 ，則 K 可以通過Cholesky 分解唯一確定,,自標定的基本思路,通過絕對二次曲線建立關于攝像機內參數(shù)矩陣的約束方程，稱之為Kruppa 方程,,求解Kruppa 方程確定 矩陣C,,通過Cholesky分解得到矩陣K,,如何進行,2、基于Kr

27、uppa方程的自標定方法,推導Kruppa 方程的示意圖,,,,,,,,,,Kruppa 方程,,x 為位于 ll 上的任意一點，則 ,,則,則,,對偶,w 的組成形式,,對偶曲線,關于Kruppa 方程的幾點說明,1、在Kruppa方程中，F(xiàn),e 為已知數(shù)，w 為未知數(shù),2、 w 有5個獨立未知變量,3、每個Kruppa方程最多可以提供2個關于未知變量的獨立約束，約束方程為5元二次方程,4、每對圖象可以得

28、到一個Kruppa方程，故至少需要3對圖象來標定攝像機，且攝像機的內參數(shù)必須保持不變,5、假定內參數(shù)都在變，任意兩幅圖像間有兩個獨立的Kruppa方程，則 N (>=3) 幅圖像之間有N(N-1)個Kruppa方程，其中只有5N-9個方程是獨立的。,3、基于絕對二次曲面、無窮遠平面的自標定方法,,絕對二次曲面,將世界坐標系取作第一個攝像機的坐標系，則絕對二次曲面是：,,其中 K1 是第一個攝像機的內參數(shù)，a 是無窮遠平面的法

29、向量。,絕對二次曲面定標方程,是射影重建， 則有：,,,,,,無窮遠平面的單應矩陣,是射影重建，第1幅和第 i 幅圖像之間的無窮遠平面的單應矩陣是：,基于無窮遠平面單應矩陣的標定方程,方程是：,,H3?3,4、幾種自標定方程的關系,,關系,基于絕對二次曲面的標定方程與基于無窮遠平面的標定方程完全等價。 由絕對二次曲面的標定方程或無窮遠平面的標定方程可以推出 Kruppa 方程。反之，對Kruppa 方程添加一個方程