Transcript スライド - Makoto Okabe

ビデオデータベースを用いた
流体画像に基づくアニメーション生成
岡部 誠
電気通信大学 / JST PRESTO
安生 健一
OLM Digital, Inc.
尾内 理紀夫
電気通信大学
モチベーション
• 流体画像を元にアニメーションを作りたい
モチベーション
• 流体画像を元にアニメーションを作りたい
– 画像の質感を保ったまま
モチベーション
• 流体画像を元にアニメーションを作りたい
– 画像の質感を保ったまま
– 難しい問題
モチベーション
• 流体画像を元にアニメーションを作りたい
– 画像の質感を保ったまま
– 難しい問題
• デザイナは１枚の流体の絵は描ける
モチベーション
• 流体画像を元にアニメーションを作りたい
– 画像の質感を保ったまま
– 難しい問題
• デザイナは１枚の流体の絵は描ける
– 独特の面白いスタイル
モチベーション
• 流体画像を元にアニメーションを作りたい
– 画像の質感を保ったまま
– 難しい問題
• デザイナは１枚の流体の絵は描ける
– 独特の面白いスタイル
– 何枚も描くのは困難 or 時間が掛かる
既存研究
• 流体シミュレーション
既存研究
• 流体シミュレーション
– 多くの物理パラメータ
既存研究
• 流体シミュレーション
– 多くの物理パラメータ
• 流体の動き
• 流体の見た目
？
既存研究
• 流体シミュレーション
– 多くの物理パラメータ
• 流体の動き
• 流体の見た目
• ビデオテクスチャ合成
– 既存のビデオを切り貼り
？
既存研究
• 流体シミュレーション
– 多くの物理パラメータ
• 流体の動き
• 流体の見た目
？
• ビデオテクスチャ合成
– 既存のビデオを切り貼り
– 指定された見た目の
再現が難しい
？
既存研究
• ビデオを用いた
流体画像アニメーション[Okabe et al., 2009]
既存研究
• ビデオを用いた
流体画像アニメーション[Okabe et al., 2009]
– 流れ場のデザイン
既存研究
• ビデオを用いた
流体画像アニメーション[Okabe et al., 2009]
– 流れ場のデザイン
– 流体のコピー＆ペースト
既存研究
• ビデオを用いた
流体画像アニメーション[Okabe et al., 2009]
– 流れ場のデザイン
– 流体のコピー＆ペースト
– 適切なビデオを検索
提案手法
• 入力
– 単一の水、炎、煙の流体画像
提案手法
• 入力
– 単一の水、炎、煙の流体画像
– ユーザは流れ方向と速さを指定しても良い
提案手法
• 入力
– 単一の水、炎、煙の流体画像
– ユーザは流れ方向と速さを指定しても良い
– 流体領域を指定するアルファマット
提案手法
• 入力
– 単一の水、炎、煙の流体画像
– ユーザは流れ方向と速さを指定しても良い
– 流体領域を指定するアルファマット
• 出力
– ビデオデータベースを用いてアニメーション合成
ビデオデータベースの利用
• 流体ビデオを収集
ビデオデータベースの利用
• 流体ビデオを収集
• 入力画像を元に
流体ビデオの検索
ビデオデータベースの利用
• 流体ビデオを収集
• 入力画像を元に
流体ビデオの検索
– 部分的な類似性
ビデオデータベースの利用
• 流体ビデオを収集
• 入力画像を元に
流体ビデオの検索
– 部分的な類似性
• コピー＆ペーストして
アニメーションを生成する
ビデオデータベースの構築
• 水について、151の流体ビデオを収集
ビデオデータベースの構築
• 水について、151の流体ビデオを収集
– カメラは固定
– 水が動画の主役
ビデオデータベースの構築
• 水について、151の流体ビデオを収集
– カメラは固定
– 水が動画の主役
• 解像度は640ｘ480 or 480ｘ640
• 時間は10秒程度
ビデオデータベース構築
• ビデオデータ量の増加
ビデオデータベース構築
• ビデオデータ量の増加
– 左右反転、回転、拡大縮小: x 18
ビデオデータベース構築
• ビデオデータ量の増加
– 左右反転、回転、拡大縮小: x 18
– ビデオをパッチ (48x48)に切る: x 90～100
ビデオデータベース構築
• ビデオデータ量の増加
– 左右反転、回転、拡大縮小: x 18
– ビデオをパッチ (48x48)に切る: x 90～100
– 水について、約24万のビデオパッチを得た
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
– ビデオフレームの平均を取る
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
– ビデオフレームの平均を取る
• SIFT特徴の抽出
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
– ビデオフレームの平均を取る
• SIFT特徴の抽出
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
– ビデオフレームの平均を取る
• SIFT特徴の抽出
• 各パッチをヒストグラムで表現
ビデオパッチ検索
• 入力画像も同様に48x48のパッチに切る
• 各ビデオパッチの代表画像の作成
– ビデオフレームの平均を取る
• SIFT特徴の抽出
• 各パッチをヒストグラムで表現
– 200種類のSIFT → 200次元のヒストグラム
最適なビデオパッチの割り当て
• 動きの滑らかさを考慮した最適化
– マルコフ・ランダム場を使用する
最適なビデオパッチの割り当て
• 動きの滑らかさを考慮した最適化
– マルコフ・ランダム場を使用する
見た目の類似度
最適なビデオパッチの割り当て
• 動きの滑らかさを考慮した最適化
– マルコフ・ランダム場を使用する
見た目の類似度
動きの類似度
静止画を分割して割り当て
最適なビデオパッチの割り当て
• 隣接するパッチ間の動きの滑らかさ
最適なビデオパッチの割り当て
• 隣接するパッチ間の動きの滑らかさ
– 流れの速度 ：平均
最適なビデオパッチの割り当て
• 隣接するパッチ間の動きの滑らかさ
– 流れの速度 ：平均
– 流れの激しさ：分散
アニメーションの生成
• 入力画像
• 割当てられたビデオパッチ
アニメーションの生成
• 入力画像
• 割当てられたビデオパッチ
アニメーションの生成
• 入力画像
• 割当てられたビデオパッチ
穏やか
アニメーションの生成
• 入力画像
• 割当てられたビデオパッチ
穏やか
激しい
アニメーションの生成
• 入力画像
• 割当てられたビデオパッチ
穏やか
激しい
穏やか
激しい
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
色や陰影の見た目情報のみ
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
色や陰影の見た目情報のみ
水飛沫等の流体の動き情報のみ
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
色や陰影の見た目情報のみ
水飛沫等の流体の動き
水飛沫等の流体の動き情報のみ
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
色や陰影の見た目情報のみ
水飛沫等の流体の動き情報のみ
水飛沫等の流体の動き
色や陰影
アニメーションの生成
• 入力画像と割当てられたビデオパッチを統合
色や陰影の見た目情報のみ
水飛沫等の流体の動き情報のみ
水飛沫等の流体の動き
色や陰影
高周波成分の除去
低周波成分の除去
結果と考察
• 結果動画の評価
– １６人の評価者（プロのデザイナ２名）
– 動画は自然か？どこが不自然か？
結果と考察
• 結果動画の評価
– １６人の評価者（プロのデザイナ２名）
– 動画は自然か？どこが不自然か？
• 水は概ね好評
• 炎、煙に手法の限界が見られた
結果と考察
• 結果動画の評価
– １６人の評価者（プロのデザイナ２名）
– 動画は自然か？どこが不自然か？
• 水は概ね好評
• 炎、煙に手法の限界が見られた
(a)
(b)
結果と考察
• 結果動画の評価
– １６人の評価者（プロのデザイナ２名）
– 動画は自然か？どこが不自然か？
• 水は概ね好評
• 炎、煙に手法の限界が見られた
(a)
(b)
まとめ
• ビデオデータベースを用いた
流体画像のアニメーション手法の提案
まとめ
• ビデオデータベースを用いた
流体画像のアニメーション手法の提案
– ユーザの手作業の大幅軽減
– ビデオ素材を崩すことなく利用できる
まとめ
• ビデオデータベースを用いた
流体画像のアニメーション手法の提案
– ユーザの手作業の大幅軽減
– ビデオ素材を崩すことなく利用できる
• ビデオのより直接的な利用法を検討中
まとめ
• ビデオデータベースを用いた
流体画像のアニメーション手法の提案
– ユーザの手作業の大幅軽減
– ビデオ素材を崩すことなく利用できる
• ビデオのより直接的な利用法を検討中
まとめ
• ビデオデータベースを用いた
流体画像のアニメーション手法の提案
– ユーザの手作業の大幅軽減
– ビデオ素材を崩すことなく利用できる
• ビデオのより直接的な利用法を検討中