Transcript 発表資料

長岡技術科学大学
オープン・ハウス
東京都立産業技術高等専門学校
専攻科1年 田邉 亮
目的


OpenCVの基本的な使用方法を習得する
OpenCVを用いてパノラマ合成を行うことで、
画像処理の基本的な技術や考え方を学ぶ
背景
パノラマ合成
 Googleストリートビュー
 カメラのパノラマ機能
 気象
日程（8/22～26）




1日目
OpenCVの基本的なプログラム作成
2日目
OpenCVを用いたパノラマ合成
3日目
パノラマ写真の評価
4・5日目
プレゼン作成・発表
パノラマ合成

パノラマ合成
複数の写真（動画のフレーム）をつなぎ合わ
せて、広い範囲を写した写真にする
「ブロックマッチング」
2つの画像を重ねながら少しずつずらし、
最も似ている位置を合成位置にする
パノラマ合成

SSD(Sum of Squared Difference)
画像1
画像2
縦方向の輝度値の総和→横方向の特徴量
横方向の輝度値の総和→縦方向の特徴量
特徴量を移動させながら比較して、最も似た
形になる位置を合成位置とする
パノラマ合成

SSD(Sum of Squared Difference)
画像1の特徴量
画像2の特徴量
合成位置m
重なった部分の2乗誤差の総和が最小になる位置を合成位置にする
r (m)  g1 (n)  g 2 (n  m)
2
n
パノラマ合成
※SSDでは・・・
 RGB画像→グレースケール画像
 ずらし量の最大値を設定する
画像1の特徴量
画像2の特徴量
適切な合成位置
不適切な合成位置
適切な位置の2乗誤差の総和よりも
不適切な位置の2乗誤差の総和のほうが
小さくなる可能性がある
パノラマ写真の評価
パノラマ合成が成功する場合と失敗する
場合について、実際に写真を撮り、考察
パノラマ写真の評価

校舎・上移動
合成結果
・
・
・
校
舎
・
・
・
カメラ
うまく合成できた
特徴量のグラフを確認
パノラマ写真の評価

校舎・上移動
縦方向の特徴量
横方向の特徴量
30000
16000
横 25000
方
向 20000
の
輝 15000
度
値 10000
の
総 5000
和
縦 14000
方 12000
向 10000
の
輝 8000
度 6000
値
の 4000
総 2000
和
━画像1
━画像2
0
━画像1
━画像2
0
0
20
40
60
縦方向の移動
80
100
0
50
100
横方向の移動
縦方向の特徴量から
画像1
画像2
合成位置を検出している
150
200
パノラマ写真の評価

白い壁・平行移動
合成結果
カ
メ
ラ
理想
上にずれが発生しているのはおかしい
パノラマ写真の評価

白い壁・平行移動
縦方向の特徴量
横方向の特徴量
43000
横
方
向
の
輝
度
値
の
総
和
24500
42500
縦
方
向
の
輝
度
値
の
総
和
42000
41500
41000
40500
━画像1
━画像2
40000
39500
24000
23500
23000
━画像1
━画像2
22500
22000
0
50
100
縦方向の移動
150
200
0
100
200
300
400
横方向の移動
縦方向の特徴量により上にずれが発生している
きれいな波形ではないが、横方向の合成位置は検出できている
パノラマ写真の評価

コーン・回転移動
奥
コーン
手前
手前と奥のコーンの移動速度が同じ
カ
メ
ラ
パノラマ写真の評価

コーン・回転移動
合成結果
手前と奥のコーンの位置関係は、カメラが
移動しても変わらないため、うまく合成できる
パノラマ写真の評価

コーン・平行移動
奥
手前
手前と奥のコーンの移動速度に差がある
カ
メ
ラ
手前のコーン・・・速い
奥のコーン・・・遅い
パノラマ写真の評価

コーン・平行移動
合成結果
移動速度に差があると、手前と奥のコーンの
位置関係にも差ができるため、合成できない
パノラマ写真の評価

校内・360度
まとめ


基本的なプログラム作成を通して、OpenCV
の使用方法を習得できた
OpenCVを用いたパノラマ合成により、画像
処理の基本的な技術や考え方を学ぶことが
できた