パノラマ合成 - iwahashi lab – 長岡技術科學大學 電気電子

1、パノラマ合成,富山商船高等専門學校　情報工學科４年　　　　　　　　　　　　　　　　　　富田　大志,長岡技術科學大學オープンハウステーマ：ロボット実踐コース③－映像信號処理－ 研修期間　2009年8月17日～21日,目的,?MATLABを用いてパノラマ寫真を作る。?パノラマ合成が失敗する場合の原因と、それに対する対策を考える。?パノラマ合成の技術を用いてどんなことができるのか考察する。,パノラ

2、マ合成の手法,①パノラマ合成する畫像（もしくは動畫）を取り込む②グレースケール変換③縦方向、橫方向の輝度の総和を用いて移動量を調べる④判明した移動量の分だけ畫像をずらして貼り付け　　以上のことを繰り返すとパノラマ寫真ができる,移動量の測定 1,右の図は、橫方向の　 移動量を測定するために縦に輝度の総和をとっている。,,,,,,,移動量の測定 2,２つの畫像の輝度の総和の比較をする?！?畫像を水平方向（もしくは垂直方向）に

3、 ずらしていき、差の２乗の総和がもっとも 小さくなる値を移動量とする。,,比較,,合成結果,求めた移動量から２枚の畫像を合成した。,元畫像,,失敗例,車上から撮影した動畫から合成した結果,,カメラ,,,,,,理想,,カメラ,,,,,,実際,畫像の真ん中の部分だけを使用すれば解決？,失敗原因,,後ろにある校舎はほとんど動いていないのに　　　前方にある車は大きく動いている。,100フレーム目,105フレーム目,パノラマ合成に対す

4、る考察,? 輝度の総和を用いてパノラマ合成をしているので、畫像に特徴となる點がなく、似たような光景が続く場合、きれいにパノラマ合成できないのではないか?！?直前の畫像からの移動量が大きすぎると　 合成が失敗するのではないか?！?明るさが急激に変わるような場合は合成ができないのではないか。,検証1,似たような光景が連続する動畫を、今回作成したプログラムを用いてパノラマ合成した。,動畫,検証結果,,,合成に失敗した。動畫のどの場面

5、においても輝度の総和が同じような値となるため、貼り付け位置が定まらなかったのではないかと考えられる。,検証結果　その２,手法を変えてPOCという手法でパノラマ合成した結果、合成はうまくいった?！∈址à驂浃à欷肖Δ蓼い瘓龊悉·ⅳ毪趣いΔ长趣铯盲?。,検証2,直前の畫像からの移動量が大きすぎると失敗するのではないかということを検証するため、３枚の畫像を用いるところを2枚の畫像でパノラマ合成をした。,,この畫像を飛ばす,検証結

6、果,,中間を飛ばして合成した結果,3枚使って合成した結果,今回、畫像の橫幅（もしくは縦幅）の4分の3以上の距離を移動した場合は比較回數(shù)が減り、計算結果の信頼性が低くなると考えたため、その場合の計算結果を貼り付け位置の計算に用いなかった。よって4分の3以上の移動量となる場合、合成に失敗する。今回失敗したのはそのせいであると考えられる。,検証2　その２,動畫のフレーム読み込み間隔を大きくすることに　 よって移動量を大きくし、パノラマ合

7、成をして検証する。,動畫,検証結果,,フレーム読み込み間隔「70」の場合,フレーム読み込み間隔「1」の場合,検証3,明るさが急に変わるような場合、合成に失敗するのではないか、ということを検証するために合成する畫像の片方の輝度を変えて合成した。,,使用する元畫像,検証結果　その１,,片方の輝度を2倍したとき,片方の輝度を2分の1にしたとき,検証結果　その2,,片方の輝度を1.5倍したとき,他の畫像で1.5倍を試したとき,「○○倍までなら大

8、丈夫」とは一概には言えない,失敗しないようにする対策,検証１から合成する畫像が変化に乏しく、特徴量が少ないと、移動量の推定がうまくいかないため、　 なるべく変化に富んだ畫像を用いる。,変化に乏しく、失敗しやすい,変化に富んでいる,失敗しないようにする対策,引き続き検証１から同じような光景が続くような畫像では　この手法ではパノラマ合成が失敗しやすい。,例,1枚目,2枚目,縦方向の輝度,橫方向の輝度,失敗しないようにする対策,

9、引き続き検証１から　 ある手法で失敗した場合は別の手法を用いて合成してみる。いくつかの手法を試してみることが必要である。,,手法を変えると???,失敗しないようにする対策,検証２から合成しようとしている畫像間の移動量が大きすぎる場合、合成に失敗するので、撮影するときはカメラを動かし過ぎないようにする。また、動畫の場合はフレーム読み込み間隔をなるべく小さな値にする。,,少しずつ動かす,失敗しないようにする対策,検証３から合成

10、しようとする畫像にもよるが、２つの畫像で明るさが違いすぎると合成に失敗するので、なるべく明るさを均一にして撮影、合成する。,,,,1枚目,2枚目,パノラマ合成の応用,パノラマ合成の技術を用いて実現(xiàn)できそうなもの　?人の目線での地図の作成　?體內の消化器官の立體図の作成　?常時360°監(jiān)視システム,まとめ,今回用いたパノラマ合成の手法には、うまく合成するためにさまざまな制約があり、きれいなパノラマ寫真を合成するには、