Transcript 因子分解法を用いた 内視鏡画像からの奥行き情報提示

内視鏡画像からの奥行き情報提示による
視覚支援システムの開発
筑波大学
システム情報工学研究科
コンピュータサイエンス専攻
安藤竜太 福井幸男 三谷純 西原清一
発表の流れ
1.
2.
3.
4.
5.
6.
研究の背景と目的
奥行き情報抽出手法とシステムの概要
従来手法
提案手法
比較実験
まとめ・今後の課題
研究の背景(1/2)

内視鏡手術とは
患者の体表面の小さな穴に内視鏡と手術器具
を入れ、内視鏡からの映像を元に手術を行う
１．研究の背景と目的
研究の背景(2/2)

内視鏡手術の利点



患者への負担が少ない
手術時間の短縮が可能
内視鏡手術の欠点

奥行き情報が少なく、手術器具が各器官と接
触する恐れがある
１．研究の背景と目的
研究の目的

安全な手技操作を可能にする視覚支援
システムの開発
目指すシステムは・・・
1.
2.
3.
4.
１．研究の背景と目的
奥行き情報を視覚支援レベルで抽出できる
リアルタイム性を持つ
結果の安定性を持つ
計算時間の安定性を持つ
システム
奥行き抽出手法

動画像の注目点追跡情報から奥行き情報
を抽出する
カメラを横に動かし
て撮影すると…
時刻ｔ
２．奥行き情報抽出手法とシステムの概要
赤で囲った物体のほうが
青で囲った物体より手前にある
時刻ｔ＋⊿ｔ
特徴点


特徴点とは、複数フレームに渡って追跡を
行いやすい点である
特徴点には、線の終点や線の屈折点、2 本
の線の結合点、色が周辺と違う点などを使
用する
２．奥行き情報抽出手法とシステムの概要
内視鏡画像の特徴


全体的に丸みを帯びている
急激に色が変化している部分がない
特徴点が取りづらい
追跡情報には誤差が含まれる
２．奥行き情報抽出手法とシステムの概要
追跡点と奥行き情報提示法


第1フレームの画像上に一様に置いた点を注
目点として追跡
第1フレームの画像上に奥行き情報を色で出力
近
遠
第1フレームの画像上に
一様に注目点を置く
２．奥行き情報抽出手法とシステムの概要
奥行き情報を色で出力
従来手法

注目点追跡には、ブロックマッチング法を
改良したものを使用

ブロックマッチング法

第1画像中の任意の点に対する第2画像中での対応点をブ
ロック間のパターンマッチングに基づいて決定する方法
時間
ブロックBと最も似ているブロック

３．従来手法
ピクセル単位で注目点を追跡する
従来手法

注目点追跡情報からの奥行き情報計算に
は、２フレーム間の注目点移動ベクトルを
オプティカルフローと考えて最小二乗法に
よって計算する手法を使用

オプティカルフローとは

３．従来手法
時間的に連続した画像の明るさから得られる、画
像中の各画素の瞬間速度ベクトル
注目点の画像上の速度ベクトルに
対する透視投影モデル最小二乗法
( x, y)
画像面内の点pの座標
画像面内のオプティカルフロー (u, v)
カメラの並進運動成分： t  (U ,V ,W )T
T
カメラの回転角速度：   ( A, B, C)
｝ 入力
｝
出力
点Pの速度：
V=－ｔ－ω×ｒ
u
v
３．従来手法

Z

Z
 Axy  B( x 2  1)  Cy
 A( y 2  1)  Bxy  Cx
※  U  xW,   V  yW
計算手法

以下の二乗和を最小にする
u

2
2
2
2




u

v

v
(



)
m easured
estim ated
m easured
est imat ed
p
注目点



３．従来手法

計算を線形にするためにかける
計測されたオプティカルフロー
推定オプティカルフロー
2  2
Z
(u  ur )  (v  vr )
となる）
Z に関して最小化（
U  0,V  0,W  0 という自明の解を避けるためにラグランジュ乗数 
を用いて U 2  V 2  W 2  1 という拘束条件を追加する
以下を繰り返して最小化する．初期値は A  0, B  0, C  0 を与える
1.
（ A, B, C,  を固定して U ,V ,W で最小化）
各過程は線形計算
2.
（ U ,V ,W を固定して A, B, C,  で最小化）
提案手法


４．提案手法
注目点追跡には、従来手法と同様に改良
ブロックマッチング法を使用
奥行き計算に、 Poelman and Kanadeによっ
て提唱された「疑似透視投影モデル因子
分解法によって得られた初期値を、透視投
影モデル最小二乗法によって真解に近づ
ける手法」を使用
疑似透視投影モデル
因子分解法


投影モデルを線形投影モデルである疑似透視投
影モデルに近似する
線形計算によって解を求めることができる
疑似透視投影
注目点群の中心
透視投影
焦点距離
４．提案手法
画像平面
注目点群の中心を通り
画像平面に平行な平面
注目点の２次元画像座標に対する
透視投影モデル最小二乗法

以下のように注目点の画像座標は定義される
( x, y)
i
３次元座標系の原点
j
k
i s  a
j s  b
x
,y
k s  c
k s  c
４．提案手法
s( X , Y , Z )
t
※a  t  i, b  t  j, c  t  k
i, j, kは正規直交ベクトルで
3つの変数に減らせる
透視投影モデル最小二乗法


疑似透視投影因子分解法の解を初期値として、透視投影モデル
に基づく評価式の最小化を行う
追跡情報は、速度ではなく位置として扱う
x
 xestim ated   ym easured yestimated
2
2
m easured
f
p
フレーム 注目点



計測された注目点座標
注目点座標の推定値
以下を繰り返して最小化を行う
1.
注目点の３次元座標を固定してカメラの向き・位置で最小化
2.
カメラの向き・位置を固定して注目点の３次元座標で最小化
また、 ( x, y) は焦点距離と画像平面の大きさから正確に決める
４．提案手法
比較実験
仮想物体を用いて奥行き誤差を測定する
1.


実際に撮影した画像群から奥行き誤差を
測定する
2.

５．比較実験
追跡情報に誤差を含まない
追跡誤差に誤差を含ませる
追跡情報にブロックマッチング法による誤差を
含む
実験１

５．比較実験
仮想物体を用意し、正確な注目点追跡情
報を得て偏差値誤差を測定する
実験１




第1フレームの画像上に一様に置く
21×21=441個の点に両手法を用いる
様々なカメラ運動に対して実験を行う
各注目点の奥行きの偏差値を計算する
誤差の指標として以下を比較する


５．比較実験
奥行き偏差値の絶対誤差の平均
奥行き偏差値の絶対誤差の標準偏差
実験１の結果
（並進運動のみ）

抽出結果（カメラに近い順に、赤→緑→青）と誤差
第1フレームの画像
５．比較実験
従来手法の結果
提案手法の結果
A = 3.10×10-5
B = 7.72×10-4
A = 0.133 B = 0.149
※ A：奥行き偏差値の絶対誤差平均
B：奥行き偏差値の絶対誤差の標準偏差
繰り返し計算回数=500
実験１の結果
（回転運動のみ）

抽出結果（カメラに近い順に、赤→緑→青）と誤差
第1フレームの画像
５．比較実験
従来手法の結果
提案手法の結果
A = 2.64 B = 2.70
A = 0.121 B = 0.100
※ A：奥行き偏差値の絶対誤差平均
B：奥行き偏差値の絶対誤差の標準偏差
繰り返し計算回数=500
実験１の結果
（並進運動＋回転運動）

抽出結果（カメラに近い順に、赤→緑→青）と誤差
第1フレームの画像
５．比較実験
従来手法の結果
提案手法の結果
A = 2.20 B = 2.48
A = 0.133
B = 5.32×10-2
※ A：奥行き偏差値の絶対誤差平均
B：奥行き偏差値の絶対誤差の標準偏差
繰り返し計算回数=500
実験１の結果
計算時間と偏差値誤差平均の変化

偏差値誤差の変化
4.5
4
従来手法（並進のみ）
偏差値誤差
3.5
従来手法（回転のみ）
3
従来手法（並進＋回転）
2.5
2
提案手法（並進のみ）
1.5
提案手法（回転のみ）
1
提案手法（並進＋回転）
0.5
0
0
10
20
30
時間(s)
５．比較実験
40
50
従来手法の誤差の原因

従来手法では、以下の近似により誤差が
生じる
本来の速度ベクトル
注目点の軌跡
利用する速度ベクトル
（オプティカルフロー）
本来、計算に使用すべきは瞬間の速度ベクトルであるが、
今回はオプティカルフローを使用しているため誤差が生じる
５．比較実験
実験２

実験２では、仮想物体から得た注目点追跡情報に誤差を含ま
せて実験を行った 240ピクセル
y
240ピクセル
x

３種類の誤差に対して従来・提案の両手法で実験を行った
1.
追跡情報の小数第一位を四捨五入することで誤差を含ませる

2.
3.

ブロックマッチング法の最良解
追跡情報のx,y方向にそれぞれ-3～+3ピクセルの誤差を加える
追跡情報のx,y方向にそれぞれ-5～+5ピクセルの誤差を加える
カメラの運動は並進と回転を含むようにした
５．比較実験
実験２の結果

従来手法（繰り返し計算回数=500）
四捨五入

５．比較実験
追跡誤差最大3ピクセル
追跡誤差最大5ピクセル
提案手法（繰り返し計算回数=500）
四捨五入
追跡誤差最大3ピクセル
追跡誤差最大5ピクセル
実験２の結果
計算時間と偏差値誤差平均の変化

偏差値誤差の変化
4.5
4
3.5
偏差値誤差
3
従来手法（四捨五入）
2.5
従来手法（誤差3）
2
従来手法（誤差5）
1.5
提案手法（四捨五入）
1
提案手法（誤差3）
0.5
提案手法（誤差5）
0
0
10
20
30
時間(s)
５．比較実験
40
50
実験３


実験1と同じ状況を実際に用意して実験を行う
物体には内視鏡画像を貼り付けた
・・・
第１フレーム画像
貼り付けた内視鏡画像
５．比較実験
第６フレーム画像
※赤は補正した
移動ベクトル
第１・６フレーム間の各注目点の移動ベクトル
実験３の結果
抽出結果（カメラに近い順に、赤→緑→青）と誤差

第1フレームの画像
(720×543ピクセル)
５．比較実験
従来手法の結果
提案手法の結果
A = 6.20 B = 6.88
A = 6.64 B = 9.53
※ A：奥行き偏差値の絶対誤差平均
B：奥行き偏差値の絶対誤差の標準偏差
繰り返し計算回数=500
実験３の結果
計算時間と偏差値誤差平均の変化

偏差値誤差の変化
7
6
偏差値誤差
5
従来手法
4
3
提案手法
2
1
0
0
10
20
30
40
50
時間(s)
５．比較実験
60
70
80
90
100
誤差の原因

ブロックマッチング法でのピクセル単位の探索による誤差の
影響が大きかった
(b)誤差の影響が大きい場合
(a)誤差の影響が小さい場合
５．比較実験
提案手法の誤差増大の原因

提案手法は、焦点距離やレンズ中心位置
が正確である必要がある


５．比較実験
焦点距離やレンズ中心位置の誤差の影響を
受ける
実際のカメラで使用するにはキャリブレーショ
ンが必要
まとめ

従来手法





2フレームのみしか使用できず、奥行き誤差を緩和できない
カメラが回転運動する場合に弱い
カメラの焦点距離などの情報が必要ない
収束が早い
提案手法




3フレーム以上使用でき、奥行き誤差を緩和できる
カメラが回転運動する場合でも３次元情報を抽出できる
カメラのキャリブレーションが必要
収束速度が遅い
６．まとめ・今後の課題
今後の課題



従来手法・提案手法の長所･短所をふまえて
新たな手法の提案をする
注目点追跡の精度向上
計算時間の短縮
６．まとめ・今後の課題
御清聴ありがとうございました