Transcript 従来手法1 - Ow.ly

符号化のための重み付きジョイントバイ
ラテラルフィルタを用いた
奥行き画像超解像
名古屋工業大学大学院 工学研究科
＊福嶋 慶繁
松尾 琢也 石橋 豊
背景 -問題多視点映像からの自由視点映像合成
圧縮
画像合成
Ｚ
Ｚ
Ｚ
Ｚ
背景 –DIBR(2)抑制フィルタ
(3)逆ワーピング
(1)ワーピング
(4)ブレンド
(5)インペイント
奥行き画像符号化の問題
JPEG，MPEGなどの変換符号化
– モスキートノイズの影響大
可逆圧縮（png, JPEG-LS, JPEG2000）
– 符号化効率は低
ジョイントバイラテラルフィルタによる
変換符号化のノイズ除去（１）
ジョイントバイラテラルフィルタ
１．原画像と奥行き（対象）画像の２画像を使用
入力画像
拡大画像
２．原画像の色の違いと距離を重みにしたフィルタ
フィルタリング
３．原画像のエッジをキープしたノイズリダクション
入力奥行き画像
カーネルの重み
ジョイントバイラテラルフィルタによる
変換符号化のノイズ除去（２）
奥行き画像
視点変更後
奥行き画像
視点変更後
画像
フィルタ後
フィルタ前
量子化したノイズが消せるのなら
そもそも，その情報（高周波）は必要ないのでは？
目的
奥行き画像の
サブサンプルによる圧縮
超解像による復号
で効率的な圧縮を実現
変換
符号化・ 符号化
間引き 量子化
超解像 逆変換
復号
復号
奥行き画像超解像：従来研究（１）
原画像の位置・色
の重み付き平均
J. Kopf et al.: “Joint bilateral upsampling”, ACM Trans. on Graphics,
vol. 26, no. 3, p. 96, Jul. 2007.
奥行き画像超解像：従来研究（２）
原画像上で最も
色・位置の近い値
の複製
M. Wildeboer et al.: “Depth up-sampling for depth coding using view
information”, in Proc. 3DTV-CON, 2011.
従来手法の問題と提案手法
従来手法の問題
– 従来手法（１）：線形補間をするため
境界にぼけ，にじみが発生
– 従来手法（２）：最近傍法のような処理
滑らかな変化を表現不能
提案手法
ぼけを抑制し，滑らかな変化を実現
キーアイディア
– 大きく離れた値を混合しない
– 従来手法の（１）と（２）を適応的に
提案手法
１．最も近い値の選択
２．その値から閾値以上
離れた画素の重みを０に
３．残る値から，色・位置の
重み付き線形補間
実験
実験条件
• 使用したデータセット：Teddy
– 解像度 450x375pixel
• 真値の奥行き画像を縦横
1/2倍，1/４倍，1/8倍，1/16倍
に縮小して超解像
実験項目
実験（１）：超解像の精度
実験（２）：符号化効率
従来超解像との比較
JPEG符号化との比較
実験（１）
超解像の精度
従来超解像
との比較
超解像結果（入力）
入力画像
入力奥行き画像
8倍超解像
超解像結果（最近傍）
入力画像
超解像結果（従来１）
入力画像
超解像結果（従来２）
入力画像
超解像結果（提案）
入力画像
実験結果（不正解率）
表：真値と誤差が閾値より大きい画素の割合
方法
従来手法１ 従来手法２ 提案手法
7.56
7.26
6.23
閾値=0.5 [%]
4.99
5.27
3.98
閾値=1.0 [%]
|真値ー超解像|＞閾値
不正解率＝
×１００
全画素
提案手法の精度がもっとも良い
実験（２）
符号化効率
JPEG符号化
との比較
実験結果（符号化効率）
x8
合成画像のPSNR [dB]
x4
奥行き画像の
PSNRではない
34
JPEG+Filter [2]
x16
33
JPEG
32
31
JPEG
JPEG+Filter
30
Proposed x2
29
Proposed x4
x2
Proposed x8
28
27
Proposed x16
0
1
2
3
4
5
6
bit/pixel
7
8
9
実験結果（計算時間）
従来：符号化＋フィルタリング
5ms＋25ms = 30ms
提案：サブサンプル＋超解像（ 8倍）
0.001ms＋1.5ms = 1.5ms
２０倍の高速化
むすびと今後の課題
むすび
「奥行き画像の超解像による符号化を提案」
– JPEG＋ポストフィルタより，サブサンプル＋超解像
– 動的に重みを変更することで従来手法よりも精度の
高い奥行き画像の超解像を実現
– 計算速度の向上
– 奥行き画像を間引いて計算可能
→奥行き推定の劇的な高速化
今後の課題
– ノイズに強い超解像方式の対応
– ジョイントバイラテラルフィルタに向いた基底の検討