Transcript 背景差分法
空間共有機能を持つ ケアコミュニケーションシステムに関する研究 2008/02/14 小山研究室 竹中 陽亮 目次 • • • • • • • 研究背景 研究目的 関連研究 提案システム 評価実験 まとめ 今後の予定 2 研究背景 • 現在、医療現場にもIT技術が導入されはじめてきた しかし、それらは業務の効率化を求めたものであり、 入院患者のためのサービスではない • そこで、入院患者のためのサービスがないか 入院患者のためのサービスは社会的有効性が 高いのではないか 患者・家族・医師・介護師の4者間コミュニケーションを手助けする ケアコミュニケーションシステムの開発 3 研究背景 入院患者のためのシステム • ME&i VOD (株式会社ヴァイタス) • ベッドサイド端末システム (株式会社パースジャパン) マルチメディアコンテンツの提供 院内システム・電子カルテとの連携 一人で楽しむコンテンツとしては有益だが、 入院時の寂しさや孤独感を減少させる ものとしてはまだまだ改善の余地がある 4 研究背景 コミュニケーション 言語情報 同期的なコミュニケーション ・キャラクタベース ・・・・ チャット ・マルチメディア ・・・・ ビデオ会議，テレビ電話 非同期なコミュニケーション ・電子メール，掲示板 非言語情報（空気・気配・環境情報・感情・身振りなど） アウェアネス情報 ・つながり感通信（センサによって情報取得） ・ビデオ会議，テレビ電話（感情・身振りなど） 5 研究背景 一般的なビデオ会議の利用例 ・Windows Live Messenger ・Skype アウェアネス情報を送る手段がほとんどない 空間の共有感が乏しい 6 研究目的 • 入院患者のQoL向上を目的とした入院生活 支援システムにアウェアネス情報を考慮した コミュニケーションシステムを構築し、その有 効性を検証する • 空間共有機能をシステムに実装し、より患者 と家族が近く感じられるようなシステムにし、 その有効性を検証する 7 関連研究 ミラーインターフェース ２地点での映像を重畳させる ことにより共有空間を実現 問題点 画面上のアイコンや情報を 利用できるようになっている •背景と人物が重なる 8 提案システムの構成・コンテンツ クライアント サーバ ・Apach ・DataBase ・PHP ・Flashプログラム 映像コンテンツ用 ・Flash Media server2 9 つながり感通信機能 • 遠隔地にいる家族の様子を知らせる • 家族の安心感・つながり感の向上 つながり感通信 11 概要図 家 Sensor of living Sensor of dining Other sensors 人の存在などをセンシング セ ン シ ン グ デ ー タ を サ ー バ に ア ッ プ ロ ー ド 病院 断 場 所 エ・ ー時 ジ間 ェな ンど トで が システムでアニメーション、イラスト、メッセージの表示 判 時 間 で 決 定 システムでアニメーション、イラスト、メッセージの表示 入院生活の一日の流れを入力 12 空間共有機能 空間共有機能 – 離れた2人が同じ部屋の中に居ることで空間共有を 実現する ２地点カメラ映像を重畳 人物抽出処理 ぬくもり伝達機能 – 人の温もりを伝えることによって，まるで同じ場所で 手を繋いでる感覚を得る 手と手が触れ合ったらお互いの手を温める マイコンによるシグナルの受信とUSBポートの制御 USBヒーターの熱による温もりの伝達 その他USB機器の制御 13 人物抽出① -色判定法• 病院の壁などは白色が基調であることが多い • 衣服は肌色より濃い場合が多い(肌色が一番淡い) 肌色より色が淡い部分を消去すると人物抽出が出来る 利点 ・処理が簡単であるので、応答速度が速い 問題点 ・処理におけるノイズが多い ・どんな背景にも適応できない 14 人物抽出①アルゴリズム • 抽出画像作成方法 各画素(pixel)のRGB値 : pr,pg,pb RGBの閾値 : tr, tg, tb （0 ≦ t ≦ 255）（閾値は肌色） 各画素の透明度 : α pr ≧ tr && pg ≧ tg && pｂ ≧ tb ⇒ α = 0 ※閾値の値は経験的に求め（環境に大きく作用してしまうが）、 さらにユーザ自身が微調整をすることができる 15 システムの動作例 -色判定法- 16 人物抽出② -背景差分法• 背景画を撮影させる機能を持たせその画像と の差分を取り人物抽出を行う 利点 ・処理が簡単であるので、応答速度が速い ・背景に依存せず、抽出精度も高い 問題点 ・最初の背景画取得の部分で処理が増える 17 人物抽出 -差分手法アルゴリズム1. 背景画像Bgの取得 2. 現在の画像Nと背景画像Bgとの差の絶対値を取り画像Mを作成 M = N - Bg 3. Mの画素を走査しでRGB値が閾値Trより低い部分を透明にする Mi, j < Tr ⇒ α(Mi, j) = 0 4. Mの透明色でない部分の画素値を0（黒）に置き換える α(Mi, j) ≠ 0 ⇒ Mi, j = 0 5. Mと現在の画像Nと差の絶対値を取り抽出画像Dを作成する D=N-M Mi,j : 画像Mの画素i, jにおけるRGB値 α(Mi, j) : 画像Mの画素i, jにおけるα値 18 システムの動作例 -背景差分法- 19 システム動作比較 色判別法 背景差分法 20 ノイズ除去 1. 最小ノイズサイズNminの設定 2. Nminより小さい部分の画素値を０にする 3. 色がない部分にコンボリューションフィルタをかける Di,j = 0 ⇒ ConvolutionFilter(Di,j) a 0 a1 a3 a4 a 6 a7 マトリックス a2 a5 a 8 x-1, y-1 x, y-1 x+1, y-1 x-1, y x, y x+1, y x-1, y+1 x, y+1 x+1, y+1 任意のピクセル(x, y)と周囲のピクセル ((x-1, y-1)×a0 + (x, y-1)×a1 + (x+1, y-1)×a2 + (x-1, y) ×a3 +・・・+ (x+1, y+1)×a8) ÷divisor +bias 変換後の(x, y)カラー値 色が抜けてしまった部分の補填 取り除ききれなかったノイズを除去 21 ぬくもり伝達機能 ～接触判定～ 画像の接触判定法 ①ラベリング処理を行う（重心も計算） ②ラベリング処理の結果１番大きい部分を顔、 ２番目を手として認識させる ③顔と手にオブジェクトを配置し、重心に追尾させる ④オブジェクトが重なったときに接触と見なす ラベリング処理のイメージ図 22 外部出力ユニット制御 • アクチュエータの部分にUSB機器を使用 – USBはPC電源が入っている限り通電してしまう H8マイコンを使いUSB電源の制御 USB電源の制御 リレー回路 USB電源を使用した機器 PCからのUSB電源供給 PCからのマイコン制御信号 23 外部出力ユニット制御 Server Client Action Script(Flash) 接触判定 flagの変化 IP,flag C++ ソケット通信 送信プログラム C++ ソ ケ ッ ト 通 信 (TCP/IP) ソケット通信 受信プログラム C マイコン 制御信号 マイコンプログラム リレー回路 ON/OFF 機器制御 ぬくもり 24 評価 • 評価方法 実験にあたり，ミラーインターフェースの技術を仮定した手法を実装 し，以下の実験により提案手法と比較した． – 実験A：定量的評価による比較 関連研究と色判定法と背景差分法の処理時間の比較 人物抽出の処理精度 – 実験B：主観的評価 空間共有，ぬくもりの伝達についてのアンケート 25 評価 ～処理速度～ • 人物抽出処理と透過処理のみの処理時間比較 （色判別抽出法・背景差分法） 30fps ⇒ 33ms 35 平均(15 回) 色判別法 ：29.4ms 30 25 ms 20 15 10 背景差分法 ：28.8ms 関連研究 ：28.0ms 5 0 1 6 11 背景差分法 16 色判別法 21 26 関連研究 26 評価 ～抽出精度～ • 評価方法 1.評価用動画を撮影し，ランダム時間の静止画を抜き取る． このとき背景差分法用の背景画像も取得 2.静止画をアルゴリズムにより人物抽出を行い画像を作成 3.静止画をphotshopで，人物抽出を手動で行う 4.手動ので人物抽出を行った画像とアルゴリズムにより作 成した画像の一致度を測定する 手動 比較 自動 27 評価 ～抽出精度～ • 人物抽出の処理精度比較（２０回） 抽出精度 1 精度 0.9 0.8 0.7 0.6 1 2 3 4 5 6 7 8 9 10 11 回数 色判別法 平均 12 13 14 15 16 17 18 19 20 背景差分法 色判別法 ： 86％ 背景差分法 ： 90％ 28 評価 ～アンケート結果～ Q1 結果 人物抽出において色判別法と背景差分法のどちらの方が良かったか？ 背景差分 色判別 背景差分 背景差分 背景差分 背景差分 Q2 人物抽出に関する自由記述 回答 ・背景が白で，色判別の抽出精度が問題ないときは色判別の方が背景を撮影しな くて良い分使い勝手は良かったが，そのような場面はなかなかないのでは？ ・背景差分の方が，人物領域がくっきり抽出されていて良い ・このように表示されて会話できるシステムは使ったことがないので面白いと思っ た．会話が弾むような気がする． ・システム右上のインタフェースの部分で微調整の数値がよくわからない ・背景差分法の時，カメラが少しでも動いてしまうと，背景を撮りなおさないといけ ないのでその手間をなくしてほしい． 29 評価 ～アンケート結果～ 問 5段階評価 (5：良 ⇔ 悪：1) 平均 Q3 人物接触判定は正しく動作していたか？ 3.7 Q4 ぬくもり伝達機能を使って，相手のぬくもりを感じることができたか？ 3.8 Q5 システムを使用して，離れていてもまるで同じ空間に居るような感覚を 持てたか？ 4.7 Q6 システムの操作はわかりやすかったか？ 2.7 Q7 全体を踏まえ，このシステムは有益だと思うか？ 4.7 Q8 ぬくもり伝達機能，その他についての自由記述 回答 ・接触判定の部分がちょっとわからない部分もあるが，そんなにシビアに接触を判 断しなくてもよいのでは？ ・実際に相手の画像に触れると相手の反応がみられて面白い ・USB機器の制御のみだけなく，いろんなものが制御できるようになるといい ・今後の発展，いろんな使い方によっては期待の出来るシステムだとおもう． 30 まとめ • アウェアネス情報の伝達として、つながり感通信、 空間共有機能を提案した • 人物抽出において色判別法も背景差分法も共に遅 延なしにシステムに導入可能ということを示した • 人物抽出は背景差分法が精度が高く，利用者に とっての評価も高いことを示した • アンケートの結果、ぬくもり伝達機能には有効性は あるもののまだまだ改善の余地がある 31 今後の課題 • 抽出処理の最適な初期値の設定 • 抽出精度が落ちてきた時の対処 • 様々なアクチュエータを想定したインタラクショ ンの策定 • フィールド実験 32 終 空間共有機能を持つ ケアコミュニケーションシステムの研究 小山研究室 竹中 陽亮