Transcript 発表資料 - KDE

ストリーム処理エンジンを用いた
顔映像に対する
補助情報提供システム
筑波大学 第三学群 情報学類
情報科学主専攻
200412324 稲守孝之
指導教官 北川博之 石川佳治 天笠俊之
発表手順
1.
2.
3.
4.
5.
背景と目的
システムの概要
インタフェイスマネジャの実装
評価実験
まとめと今後の課題
背景

ストリームの増加


時々刻々と変化するデータを次々と配信
小型カメラ等の映像取得デバイスの発達
映像ストリームの高度利用への要求
顔映像ストリームを扱える情報統合
利用システムを開発中
背景

顔情報に対して補助情報を付加すること
が有効
例）

知り合いの詳細情報・最新情報を提供して会話を支援
面識のある人物の忘れてしまった情報を提供して補助

顔認識が困難な人を補助

常に情報を提供できるような環境において有効
ウェアラブルデバイスを使用
HMD
目的と研究内容
目的

ストリーム処理エンジンを用いた顔映像に対
する補助情報提供システムの開発
研究内容



システムアーキテクチャの設計
ウェアラブルデバイスを用いて利用者に情報
を提供するインタフェイスの実装
システムの評価実験
システムの概要
補助情報を提供することでコミュニケーショ
ンの支援をするシステム
「Eメールは、
「反日戦争
akiyama@...
オンライン
です。」
ゲーム」
対話者
音声で読み上げ
（ヘッドフォン）
利用者
GUIで表示（HMD）
ハンド
キーボード
カメラ
システムアーキテクチャ
ストリーム処理エンジン
連続的問合せ
メディエータ
インタフェイスマネジャ
処理結果
ID
Name
ID所属Snapshot…
Timestamp
1
鈴木 一郎
1 筑波大学
<顔画像>
…
06:23:11
DB
ラッパー
顔認識
ラッパー
提供情報
鈴木 一郎
筑波大学
GUI
人物情報DB
「鈴木 一郎さん
がいます。
所属は、
筑波大学です。」
音声
インタフェイスマネジャの
設計方針
HMDの画面は狭く文字で提供できる情報が少ない
 音声により補足情報を提供
過去に会った人の情報を見たい
 履歴の表示
見たい情報のみを表示してほしい
 表示項目の選択
ハンドキーボードでは複雑な操作はできない
 選択キーと決定キーのみで操作可能
インタフェイスマネジャの設計
インタフェイスマネジャ
ストリーム処理
エンジン
人物情報
DB
到
着
デ
ー
タ
通
信
モ
ジ
ュ
ー
ル
到
着
デ
ー
タ
モデ
ジー
ュタ
ー
ル管
理
履歴情報
カメラ
表
示
デ
ー
タ
モイ
ジン
ュタ
ーフ
ルェ
イ
ス
モ読
ジみ
ュ上
ーげ
ル
GUI
コンポー
ネント
ブログ情報
Webサーバ
音声
表示
デモムービー
評価実験（実験方法）

被験者にはシステムを使用し補助情報を見なが
ら会話をしてもらう



実験前に被験者にはシステムの目的・画面の見方・
操作方法を説明
被験者は北川データ工学研究室のメンバ１０人
アンケートにより被験者からのフィードバックを得る

アンケートはデバイス・GUI・音声・システム全体の各
項目について５段階評価と意見を求める

５段階評価において５を最も良い評価とする
実験の様子
ウェアラブルデバイ
スから提供される
情報で対話者と会
話をする
対話者
被験者
ハンドキーボードを
使って見たい情報
を選ぶ
カメラで対話者の
顔を撮影する
評価実験（結果）
評価項目
平均点
HMDの快適さ
3.1
3.4
4.1
ヘッドフォンの快適さ
ハンドキーボードの快適さ
評価項目
平均点
GUIの有用性
3.9
3.8
シンプルでわかりやすい
3.9
会話をしながら話題を探せるのは面白い
情報が必要な時にだけ提供してほしい
音声有用性
システム
全体有用性
意見
情報の取得が容易
会話の妨げになる
まとめと今後の課題
まとめ
 ストリーム処理エンジンを用いた顔映像に対する
補助情報提供システムの設計
 利用者に情報を提供するインタフェイスを実装
 システムの評価実験
今後の課題
 より詳細な評価実験
 評価実験の結果をもとにしたインタフェイスの改良