Transcript mva2002 - 画像メディア工学研究室

MVA2002@Nara
宮崎大輔
東京大学 池内研究室
12月ITS光学勉強会
1
Registration of Range Images Using
Texture of High-Resolution Color Images
Kazushi Yoshida 吉田和司
Hideo Saito 斎藤英雄
慶応義塾大学
12月ITS光学勉強会
2
概要
 入力
多方向から撮影したテクスチャ付きレンジデータ
 出力
テクスチャの貼られた３次元メッシュモデル
 手法
改良されたICP法による3D-3Dアラインメント
 長所
３次元モデルにきれいなテクスチャが貼れる
アラインメントが高精度
初期位置のずれに強い
12月ITS光学勉強会
3
計測
 Minolta VIVID700とOlympus CAMEDIA C2100を使う
カメラキャリブレーション済み
⇒テクスチャが載った状態のレンジデータを取得できる
VIVIDに搭載されたカメラだと400x400程度の画像しか取
得できないが、デジカメを使う事により1600x1200の高精
度な画像を利用できる点が利点
キャリブはTsai??それとも手動で3D-2Dアラインメント??
この実験の場合１６方向からデータを取得した
⇒つまり入力は、１６枚のテクスチャ付きレンジデータ
12月ITS光学勉強会
4
アラインメント：ステップ１
 対応点を見つけ、対応点を合わせるようにレンジデータを動かす
 対応点は、window内の輝度値の差がしきい値より小さいものを選ぶ
 レンジデータ0からレンジデータ1への、反復における現時点での変換行列
は求まる
そこで、レンジデータ1から見たレンジデータ0の画像をレンダリングできる
その画像とレンジデータ1の画像とで対応点探索を行う
12月ITS光学勉強会
5
アラインメント：ステップ２
 レンジデータ1をレンジデータ0から見た時の画像とレン
ジデータ0の画像の差E0を計算する
 レンジデータ0をレンジデータ1から見た時の画像とレン
ジデータ1の画像の差E1を計算する
 E0とE1が小さくなるようにレンジデータを動かす
12月ITS光学勉強会
6
マージング
 Wheeler, Sato, Ikeuchi (1997)
Consensus surfaces for modeling 3D objects
from multiple range images
 Lorensen, Cline (1987)
Marching cubes: A high resolution 3D surface
construction algorithm
 もし、１点で複数枚のテクスチャが重なったら、法
線に近い視線方向のものを２つ選び、ブレンディ
ングする
テクスチャの無い点に関しては周囲の点から内
捜する
12月ITS光学勉強会
7
実験結果
 提案手法による結果
 VIVIDに搭載されたカメラを
使った場合
12月ITS光学勉強会
8
実験結果
12月ITS光学勉強会
9
Variational Specular Separation
Using Color and Polarization
Dae-Woong Kim,
Ki-Sang Hong,
Stephen Lin,
Heung-Yeung Shum
POSTECH Korea
Microsoft Research China
12月ITS光学勉強会
10
概要
 入力
一視点から得られた偏光画像
光源は普通の非偏光の光源で良い
偏光画像としては、偏光板を回した時に輝度が最小になるIminと、輝度
が最大になるImaxの２枚の画像を使う
 出力
鏡面反射成分画像
拡散反射成分画像
 特徴
Nayarの手法とほとんど変わらない
Nayarより手法が簡単
二色性反射モデルを使用する
Saturation(飽和)があっても問題ない
12月ITS光学勉強会
11
偏光
I min  I d  I sc  I sv
 反射光
拡散反射光は非偏光
鏡面反射光は部分偏光
 偏光板を回すと明るさが
Imin~Imaxと変化する
拡散反射光の場合はImin=Imax、
つまりIsv=0、つまり偏光板を回し
ても明るさは変わらない
しきい値tを使えば鏡面反射が
発生している領域を検出できる
12月ITS光学勉強会
I max  I d  I sc  I sv
観
測
輝
度
拡
散
反
射
成
分
変
化
し
な
い
変
化
す
る
鏡
面
反
射
成
分
I max  I min  t
12
鏡面反射領域
 入力画像（シミュレーショ
ン画像）
 しきい値（この場合は4)を
使って検出した鏡面反射
領域（白と紫の部分）
12月ITS光学勉強会
13
二色性反射モデル
 拡散反射光成分Idを求めたい
⇒今、ImaxとIminだけが分かっている
⇒ImaxとIminから鏡面反射を表す直線が求まる
⇒Idはこの直線のどこかにある
12月ITS光学勉強会
14
補完
 鏡面反射領域が検出できているわけだが、その
領域の外側は拡散反射成分しかない
⇒という事は領域の外から内捜してやれば拡散
反射成分が分かるじゃん！
12月ITS光学勉強会
15
実際の計算
 以下のエネルギー関数Eを最小化すればよい
E 


I
l
d
T
Dl I
拡散反射成分が
滑らかに変化するようにする
⇒テクスチャは大体同じだろう
l
d
  p D p pd
T
d
鏡面反射成分が
滑らかに変化するようにする
⇒光源と物体は滑らかだろう
※僕はこの数式の意味を完全に理解していないので概要だけ説明します
 ラグランジュ定数
 鏡面反射領域
p d  I min  I d
I
l
d
D l D p 2x2定行列（定義は省略）
直交する2つのベクトルI gと I dl を使って I d  I g  I dl と表せる
ただし I dl はImaxとIminからなる直線に平行
12月ITS光学勉強会
16
Saturation(飽和)の検出
 入力画像（シミュレーショ
ン画像）
 輝度が255の部分をサ
チった領域として検出（紫
の部分）
12月ITS光学勉強会
17
Saturation(飽和)の問題点
 サチったピクセルの鏡面反射を表す直線が正しい値からずれて
しまう
⇒サチっていない周囲の鏡面反射ピクセルから推定可能
 なぜなら、鏡面反射を表す直線は隣り合ったピクセルで平行だから
 光源が同じなら平行になる
 隣接点なのでなおさら平行であると言える
12月ITS光学勉強会
18
実際の計算
 以下のエネルギー関数Eを最小化すればよい
E 

   ,  ,
2

    s     0 

 Satu

Spec
サチった領域の色ベクトルをサ
チってない領域の色ベクトルに
近づける
サチっていない領域の色ベクト
ルは元々の色ベクトルからず
れた値にならないようにする
 ,  ,   は色ベクトルで、鏡面反射成分の色ベクトル r , g , b 
を単位ベクトルになるように正規化したものである
 s は正の定数
 0 はΨの初期値
Satu はサチっている領域
Spec はサチっていない鏡面反射領域
でもたぶんSatuは鏡面反射領域全体の間違いだと思う
12月ITS光学勉強会
19
実験結果
12月ITS光学勉強会
20
シミュレーション結果
12月ITS光学勉強会
21
Adaptive Background Estimation and
Shadow Removal in Indoor Scenes
Junya Morita 森田 順也
Yoshio Iwai 岩井 儀雄
Masahiko Yachida 谷内田正彦
大阪大学
12月ITS光学勉強会
22
概要
12月ITS光学勉強会
23
背景
 以下、光源が２つとして手法を解説するが、光源が３つの場合も同様に実行で
きる
 ある点Aにおける背景輝度Eは、光源1のみを点灯した場合の背景輝度L1と光
源2のみを点灯した場合の背景輝度L2の線形和で表される
E
A
 S1 L 1  S 2 L 2
A
A
A
A
 L1とL2をあらかじめ求めておき、入力画像からS1とS2を推定する
 光源をon/offしたり明るさや色を調節しても、ロバストに影の除去を行う事ができる
 あらかじめL1とL2を求める必要があるので、移動する光源には対応できない
12月ITS光学勉強会
24
例
E  S 1L 1  S 2 L 2
Output
背景画像
I
=
0.6
Input
+ 0.8
照明画像1
（背景基底画像）
Input
照明画像2
（背景基底画像）
Input
入力画像
L1,L2,IからS1,S2を求めたい
S1,S2が求まるとEが求まる
12月ITS光学勉強会
25
推定手法
1. ランダムに２つのピクセルを選ぶ
2. S1とS2を求める T A  S 1T1 A  S 2T 2A
T
B
 S 1T1  S 2T 2
B
B
ただしTはRGBのそれぞれの要素の総和
3. (S1,S2)が以下を満たすなら採用とする
0  S1 , S 2  1
4. 1~3を一定回数繰り返す
5. S1とS2のヒストグラムを作り、それぞれのピー
クをS1とS2の推定値とする
12月ITS光学勉強会
26
RANSAC
 入力画像を背景画像とみなしてS1,S2を求める
背景領域は多いので、S1,S2のヒストグラムをとれば
真値でピークになるだろう
影領域や物体領域ならば方程式が解けなかったり、
S1,S2が0~1の範囲に入らなかったりランダムな値に
なる
12月ITS光学勉強会
27
例
G(0.6,0.5,0.4)
V(0.6,0,0.8)
S(0,0.2,0.4)
B(0,0,0.8)
P(0.6,0.3,0)
R(0.6,0,0)
X(1,1,0)
Y(1,1,0)
(1,0.5,0)
(0,0.25,0.5)
(1,0,0)
(0,0,1)
L1
L2
G 1.5=1.5S1+0.75S2
V 1.4=S1+S2
S1=0.6
S2=0.8
B 0.8=S1+S2
R 0.6=S1+S2
解なし
B 0.8=S1+S2
X 2=1.5S1+0.75S2
S1=1.9
S2=-1.1
B 0.8=S1+S2
S 0.6=1.5S1+0.75S2
S1=0.0
S2=0.8
R 0.6=S1+S2
P 0.9=1.5S1+0.75S2
S1=0.6
S2=0.0
B 0.8=S1+S2
P 0.9=1.5S1+0.75S2
S1=0.4
S2=0.6
B 0.8=S1+S2
Y 2=S1+S2
解なし
0.0 0.4 0.6
S1
12月ITS光学勉強会
0.0 0.6 0.8
S2
28
ヒストグラム
12月ITS光学勉強会
29
影の決定
 入力輝度Iと背景輝度Eの差がしきい値より小さ
ければその部分は背景
 影領域
入力輝度IとS1L1の差がしきい値より小さければそ
の部分は影
入力輝度IとS2L2の差がしきい値より小さければそ
の部分は影
少し端折っているので詳しくは論文を読め
 それ以外は物体領域
12月ITS光学勉強会
30
結果
12月ITS光学勉強会
31
結果
12月ITS光学勉強会
32
結果
12月ITS光学勉強会
33
Spectral Measurement of Ambient
Lighting and Its Application to Image
Rendering
Shoji Tominaga 富永昌治
Norihiro Tanaka 田中法博
大阪電気通信大学
12月ITS光学勉強会
34
全方位の光源分布の計測とその応用
田中法博
富永昌治
MIRU2002
12月ITS光学勉強会
35
概要
 目的
周囲の光源分布を簡便に計測することにより、同じ光源分布
下においた仮想物体をリアルに再現する
 入力
鏡面球をRGBカラーカメラで撮影した画像
カメラの分光感度
カメラパラメータ（内部パラメータ）
鏡面球の分光反射率
光源の分光分布の基底関数
 出力
全方位光源分布
光源の分光スペクトル分布
 特徴
Debevecの手法とあまり変わらない
12月ITS光学勉強会
36
鏡面球の計測系
12月ITS光学勉強会
37
光源の分光分布の推定
k 
カメラ出力
 光源の
E ( ) S ( , i ) Rk ( )d
k=1,2,3
鏡面球の カメラの
分光分布 分光反射率 分光感度
n
k 

j 1
j

E j ( ) S ( , i ) Rk ( )d
j=1,2,3
基底関数 光源分光分布
E (  )   1 E1 (  )   2 E 2 (  )   3 E 3 (  )
の重み
の基底関数

ρ  Λε
3x1
入力
(計測)
εΛ ρ
3x3 3x1
出力
一般化逆行列
入力
(あらかじめ求めておく)
12月ITS光学勉強会
38
計測画像
12月ITS光学勉強会
39
合成後の光源分布の極座標系表示
12月ITS光学勉強会
40
Direct sunの分光推定結果
12月ITS光学勉強会
41
CGによる画像生成例
スキャナのバグ
12月ITS光学勉強会
42
(c) Daisuke Miyazaki 2002
All rights reserved.
http://www.cvl.iis.u-tokyo.ac.jp/
12月ITS光学勉強会
43