Transcript 発表資料
パノラマ合成
長岡技術科学大学オープンハウス テーマ：ロボット実践コース③－映像信号処理－ 研修期間 2009 年 8 月 17 日～ 21 日 富山商船高等専門学校 情報工学科４年 富田 大志
目的
・ MATLAB を用いてパノラマ写真を作る。 ・パノラマ合成が失敗する場合の原因と、それ に対する対策を考える。 ・パノラマ合成の技術を用いてどんなことができ るのか考察する。
パノラマ合成の手法
①パノラマ合成する画像（もしくは動画）を取り込む ②グレースケール変換 ③縦方向、横方向の輝度の総和を用いて移動量を 調べる ④判明した移動量の分だけ画像をずらして貼り付け 以上のことを繰り返すとパノラマ写真ができる
移動量の測定
1 右の図は、横方向の 移動量を測定するために 縦に輝度の総和をとって いる。
移動量の測定
2 ２つの画像の輝度の総和の比較をする。 画像を水平方向（もしくは垂直方向）に ずらしていき、差の２乗の総和がもっとも 小さくなる値を移動量とする。 比較
合成結果
元画像 求めた移動量から２枚の 画像を合成した。
失敗例
理想 車上から撮影した動画から合成した結果 実際 カメラ カメラ 画像の真ん中の部分だけを使用すれば解決？
失敗原因
100
フレーム目
105
フレーム目 後ろにある校舎はほとんど動いていないのに 前方にある車は大きく動いている。
パノラマ合成に対する考察
・ 輝度の総和を用いてパノラマ合成をしてい るので、画像に特徴となる点がなく、似たよう な光景が続く場合、きれいにパノラマ合成で きないのではないか。 ・直前の画像からの移動量が大きすぎると 合成が失敗するのではないか。 ・明るさが急激に変わるような場合は合成が できないのではないか。
検証
1 似たような光景が連続する動画を、今回作成した プログラムを用いてパノラマ合成した。 動画
検証結果
合成に失敗した。動画のどの場面においても輝度の総和が 同じような値となるため、貼り付け位置が定まらなかった のではないかと考えられる。
検証結果 その２
手法を変えて POC という手法でパノラマ合成 した結果、合成はうまくいった。 手法を変えればうまくいく場合が あるということがわかった。
検証
2 直前の画像からの移動量が大きすぎると失 敗するのではないかということを検証するた め、３枚の画像を用いるところを 2 枚の画像で パノラマ合成をした。 この画像を飛ばす
検証結果
3
枚使って合成した結果 中間を飛ばして合成した結果 今回、画像の横幅（もしくは縦幅）の
4
分の
3
以上の距離を移動した 場合は比較回数が減り、計算結果の信頼性が低くなると考えたため、 その場合の計算結果を貼り付け位置の計算に用いなかった。 よって
4
分の
3
以上の移動量となる場合、合成に失敗する。 今回失敗したのはそのせいであると考えられる。
検証
2
その２
動画のフレーム読み込み間隔を大きくすることに よって移動量を大きくし、パノラマ合成をして検証 する。 動画
検証結果
フレーム読み込み間隔「
1
」の場合 フレーム読み込み間隔「
70
」の場合
検証
3 明るさが急に変わるような場合、合成に失敗 するのではないか、ということを検証するため に合成する画像の片方の輝度を変えて合成 した。 使用する元画像
検証結果 その１
片方の輝度を
2
倍したとき 片方の輝度を
2
分の
1
にしたとき
検証結果 その
2 片方の輝度を
1.5
倍したとき 他の画像で
1.5
倍を試したとき 「○○倍までなら大丈夫」とは一概には言えない
失敗しないようにする対策
検証１から 合成する画像が変化に乏しく、特徴量が少な いと、移動量の推定がうまくいかないため、 なるべく変化に富んだ画像を用いる。 変化に乏しく、失敗しやすい 変化に富んでいる
失敗しないようにする対策
引き続き検証１から 同じような光景が続くような画像では この手法ではパノラマ合成が失敗しやすい。 例 縦方向の輝度 横方向の輝度 1 枚目 2 枚目
失敗しないようにする対策
引き続き検証１から ある手法で失敗した場合は別の手法を用いて 合成してみる。いくつかの手法を試してみるこ とが必要である。 手法を変えると・・・
失敗しないようにする対策
検証２から 合成しようとしている画像間の移動量が大き すぎる場合、合成に失敗するので、撮影する ときはカメラを動かし過ぎないようにする。 また、動画の場合はフレーム読み込み間隔を なるべく小さな値にする。 少しずつ動かす
失敗しないようにする対策
検証３から 合成しようとする画像にもよるが、２つの画像 で明るさが違いすぎると合成に失敗するので、 なるべく明るさを均一にして撮影、合成する。 1 枚目 2 枚目
パノラマ合成の応用
パノラマ合成の技術を用いて実現できそうなもの ・人の目線での地図の作成 ・体内の消化器官の立体図の作成 ・常時 360 °監視システム
まとめ
今回用いたパノラマ合成の手法には、うまく 合成するためにさまざまな制約があり、きれ いなパノラマ写真を合成するには、それらに 対する対策をとらなければならないということ がわかった。
感想
屋外で撮影した 360 °のパノラマ合成がうまくいって 感動した。 今後機会があれば、その他のパノラマ合成の手法 についても調べてみたいと思う。