Transcript 観察者向きの提示
共同外出の感覚を作る 遠隔コミュニケーションシステム ちょう けいしゅん 張 慶椿 コンピュータサイエンス専攻 指導教員：田中 二郎 はじめに ビデオ通信に関する応用は主に相手を映 した前提で開発した、我々はその相手を 映した以外の方向に注目する 「相手がそばにいる」といった共同活動 感覚がコミュニケーションには不可欠の 要素であると考える 2 研究目的 本研究は「相手と一緒に外出する感覚」を作 り出すことを目的にする。また、この感覚を 「共同外出感」と定義する 共同外出感は、実際に外出してない人に、人 と共に外出するような感覚、体験を与える 我々はパンチルトカメラと没入空間を組み合 わせによって共同外出感を与えるシステムを 開発する 3 共同外出感 利用者は移動者（実際外出者）と観察者（擬 似外出者）に分かれている 我々は両者に、共同外出感を与える 実際外出者（移動者） 擬似外出者（観察者） 4 システム概要 5 5 デモビデオ 6 観察者の自由視野獲得 観察者の振り向きによって移動者側のパンチルトカメラを回 転させる（パン128度、チルト64度） コントローラの操作により遠隔映像をズームイン、ズームア ウトもできる 観察者側では、HMDもしくは回転式プロジェクタを用いて没 入表示空間で構成され、遠隔映像を表示する 元の向き方向 新しい向き方向 移動者側のカメラは観察者の 向きによって回転する センサーで観察者の水平向き方向と傾き角 度を検知できる 7 回転式プロジェクター 回転式プロジェクタは観察者の向きに追従し、見ている方向に投影する HMDと比べて観察者へ負担の軽減させ、より良い視野範囲と臨場感が得 られる 回転式プロジェクター 観察者の向き方向に追従する投影画面 8 向き情報の提示 観察者向きの提示 ヘルメットにある方向表示LED バーを用いて観察者の向き情報を 移動者に伝える LEDの発光位置により、相手は何 処を向いているを把握できる 移動者向きの提示 移動者の水平角速度を計測するこ とで、振り向くを検知することが できる 検知した振り向き方向は、矢印と して観察者側GUI画面表示する 表示されるのは、左向き、右向き と後ろ向き三種類の矢印になる。 移動者側 観察者の向き方向に合わせ てLEDが発光する 移動者が右に振る向いた場合の GUI画面 9 共同注目のインタラクション 共同注目 移動者と観察者は共に一 つの方向に注目すること お互いの注目情報を把握 すると、相手の興味が分 かり、会話も促進される 共同注目支援ツールは両 者の行動によって自動的 に起動する他、相手の要 請により起動するも可能 実在する移動者と仮想存在の 観察者が一つのパソコンを注 目する 10 共同注目-カメラの視線を一致させる １、観察者はある方向に向く ２、遠隔カメラを動かす ３、向き情報を移動者に伝える 共同注目 ４、移動者もその方向に向く ５、カメラは正面に戻る ６、観察者に知らせる 11 身体動作によるコミュニケーション 叩く コントローラを持って前後振ると、 相手側頭部に振動を与える 目の前に手を振る 観察者がコントローラを持って左 右振ると、移動者にLEDの左右巡 観察者コントローラを握って振る り発光表現で提示する LEDバーの左右巡り発光表現 移動者のヘルメットは振動する 12 システムの実装(1/3) 移動者側システムと観 察者側システムに分け られる それぞれのアプリケー ションはセンサーの制 御、動作の認識と表示 提示機能を勤める システムは機能別でモ ジュール化される システムのハードウェア構造 13 システムの実装(2/3) 移動者側システム センサーで移動者の振り向き動作を 計測 パンチルトカメラの制御 LEDバーの発光制御 映像と音声の送受信 移動者ヘルメット LEDバー発光の仕方 移動者外出の様子 14 システムの実装(3/3) 観察者側システム 地磁気センサー、加速 度センサーをもちいて 観察者向き方向と姿勢 を計測 GUIと操作インタ フェース 回転式プロジェクター の制御 (ステッピングモータ とArduino駆動回路を 使用) 観察者側GUI画面 回転式プロジェクター センサー装置とHMD 15 評価実験 被験者人数：5人 場所：観察者は実験室A、移動者は実験室Bにいる 実験条件：被験者は予め約２０分の説明とトレー ニングを受け、交代して観察者とも移動者ともを 勤める。実験ケースを遂行した後、アンケートを 受ける 実験目的：共同外出感の達成とシステム機能の有 効性を証明する 16 実験環境 映像、音声の通信はWindows Live Messengerを使用する 移動者の通信環境はEMobile HSPA+ によるワイアレス通信 実測速度は UP:1.4MBps DOWN 3.2MBps 観察者の通信環境は有線LANにする カラー付きの四角錐 壁に貼る番号付きのポスター 17 実験ケース ケースA：移動者は室内で歩きながら、観察者は 周囲を見渡して、壁に貼っているポスターを探し 出す 目的：自由に周囲を見渡せるかどうかを検証 ケースB：観察者は七つのカラー付三角錐の内一 つを注目し、ついに移動者は共同注目支援機能を 用いて三角錐を特定する。 目的：共同注目支援は効果あるかを検証 ケースC：観察者がコントローラを振って身体的 動作メッセージを送信する。移動者はそれを確認 し、観察者が注視しているポスターを特定する 目的：言葉せずにコミュニケーションが取れるか どうかを検証 18 実験結果 実験回数 成功率 ケースA 7 71.4% ケースB 10 40% ケースC 5 80% アンケート （点数は５～１まで、５は非常に同意、１は非常に同意しない） 質問内容 相手と共同活動する感じはありましたか？ 自由に周囲を見渡すことができたか？ 相手の向き方向を把握できたか？ 画面は揺れましたか？ 人数 5 3 5 3 平均点数 3 2.6 3 5 19 実験の検討 ケースB成功率の低下について 観察者はカメラを越してカラー付の三角錐を特定す るが、カメラを越して物体の色を確認するのは難し いとみられる。また、三角錐と三角錐の間の距離は 十分に開いてないも原因になる 画面の揺れについて 移動者はまだ観察者を意識してないが揺れの原因 と考れる。また、実験用のヘルメットサイズは固 定されているため、頭のサイズにより画面の安定 性も影響を与えるのも観察された。 20 関連研究 Head Mounted Display (HMD)によるSharedView Systemを用いた遠隔指示・支援システム の検討 太田祥一, 行岡哲男, 山崎敬一, 山崎晶子, 葛岡英明, 松田博青, 島 崎修次 日本救急医学会雑誌, Vol.11, No.1, pp.1-6, 2000. 実施者と指示者と分けており、実施者はHMDと カメラを装着して、指示者は音声と画面上の指 さしにより救急蘇生法の指示を行う。 実空間上の遠隔コミュニケーションを支援する システムの開発 小山 慎哉, 葛岡 No.1 2004 実施者 英明, 上坂 純一, 山崎 敬一, IPSJ Vol.45 操縦者の首振りによってロボットの頭部回転を 制御して、ロボットからリアルタイム映像を操 縦者側に伝達する。まだ、操縦者はロボットの 指示用腕を制御して、遠隔指示を行う。 21 まとめ 本研究では「共同外出感」という概念を定義し、 その感覚を与える手法を提案、実装した 我々は 「自由視野の取得」 「向き情報の共有」 「共同注目行為の支援」 「身体的動作等によるコミュニケーション手法」 以上４つの手法の実装を行い、評価実験を行った。 22 今後の展望 移動者側のカメラの設置位置の変更 移動者視野からカメラ視野をを独立させるこ とで、観察者にとってより自由かつ妨害され にくい操作を行うことができる 3Dアバターの採用 3Dアバターでお互いの体の動作と向きを確認 し、よりそばにいるような感覚を得られる 観察者は移動者と並んでいるような表現手法 観察者は移動者と一体せずに独立させ、共同 活動の感覚を促進する 23 おわり ご清聴どうもありがどうございました