Transcript ARToolkit OpenGL

uMegane:
AR技術を用いたセンサ情報可視化システム
今枝卓也 高汐一紀 徳田英幸
慶応義塾大学大学院政策・メディア研究科
慶応義塾大学環境情報学部
概要
• AR技術を用いてセンサ情報を可視化する
– 現実空間の映像上にセンサ情報を投影する
• 膨大な情報から必要な情報のみ取得できるようにセ
ンサ情報をフィルタリングする
アウトライン
•
•
•
•
•
•
•
研究概要
関連研究
センサ情報の可視化手法
センサ情報フィルタ機構
評価
今後の展望
まとめ
本研究の背景
• センサの小型化
• それに伴うユビキタスコンピューティング環境
の発展
問題意識
• センサ情報の取得には知識や手間がかかる
– ex.データベースへのアクセス
• センサ情報は膨大な量になりがち
• 目の前にあるセンサの情報取得にも苦労する
• 必要な情報にたどり着けない
・・・
・・・
既存のセンサ情報へのアクセス手法
地図上に表示
二次元バーコード+携帯電話+Webインターフェース
データベースへの直接アクセス
本研究の目的
• 簡単にセンサ情報にアクセスできるシステム
を実現する
– ユーザに特殊な知識や手間を要求しない
温度：29℃
湿度：30％
本研究が想定するシナリオ
• ワインセラーにあるワインが適切な環境に保
存されているか確認したい
• 店先に並べられている商品に異常がないか
確認したい
異常
無いです
適切な
温度です
アプローチ
• AR技術を用いてセンサ情報を可視化する
• センサ情報をフィルタリングする
– 膨大なセンサ情報から必要な情報のみ選別する
AR（Augmented Reality）
• Augmented Reality（拡張現実）
– 現実空間上に仮想空間の情報を投影する技術
• 本研究では，AR技術をユビキタスコンピュー
ティング環境に応用
関連研究
AR技術を用いたセンサ情報の可視化
• 兵器技術分野
– 航空機のHUDやHMDに機体情報
を表示
• 自動車
– フロントガラスに周辺情報を表示
• 特定の環境や状況下においての
み有効
関連研究
生活空間内におけるAR技術の利用
• NaviCam
– 暦本, 1995
– 現実空間に仮想空間の情報を投影する
– 本棚やカレンダーのような比較的静的な情報が対象
• センサのように動的に変化していく情報は対象外
• u-Photo
– 慶應義塾大学 徳田研究室
– 写真というメタファを用いて情報機器の操作を可能にする
• 動的な情報をリアルタイムに表示する事は対象外
センサ情報の可視化
• 現実空間の映像上にセンサ情報を重ね合わ
せて表示する
温度：29℃
湿度：30％
センサの認識手法の検討
• ヴィジュアルマーカを用いる手法
– 利点：同じ形状の物でも個別に認識できる
– 欠点：現実空間の物にヴィジュアルマーカを貼り付ける必
要がある
• 3Dモデルを用いる手法
– 利点：現実空間を改変する必要がない
– 欠点：形状の同じ物は同一物として認識してしまう
• 特徴点を抽出する方法
– 利点：予めモデルを作成する必要がない
– 欠点：物体の認識には向かない
本研究では，個々の物体を個別に認識する
必要があるのでヴィジュアルマーカを用いる
想定環境
• ユーザはuMeganeデバイスを装着
– カメラとHMD
• 現実空間のオブジェクトにはヴィジュアルマーカと無
線センサノードを取り付ける
• センサ情報はセンサ情報配信サーバを通してネット
ワーク上に配信される
センサ情報の抽象化
• センサ情報を球で表現し，現実空間の映像に重ね
合わせる
– 色：温度
• 赤いほど温度が高い
• 青いほど温度が低い
– 大きさ：照度
• 大きいほど明るい
• 小さいほど暗い
– 公転速度：加速度（1軸）
• 速いほど加速度が高い
• 遅いほど加速度が低い
スクリーンショット
センサ情報フィルタ機構
• センサから得られるデータには様々な種類がある
– 現在の状態
– 過去のデータ
– 異常値
• 本システムでは “フィルタ”を切り替える事で表示す
るデータを変更できる
– サングラスのレンズを取り替えるように
– 現在は3つ利用可能
• リアルタイムフィルタ
• タイムマシンフィルタ
• 異常検知フィルタ
各種フィルタ
• リアルタイムフィルタ
– 直近のセンサデータを表示する
• タイムマシンフィルタ
– 過去にさかのぼってセンサデータを表示する
• 時間をいったりきたりしながら過去のデータを参照でき
る
• 異常検知フィルタ
– 過去に異常のあったセンサだけ表示する
• 異常の定義はオブジェクト毎に行う
ハードウェア構成
Webカメラ
HMD
VGA
USB
無線センサノード
無線
センサデータ
小型PC
センサデータ
インターネット
USB等
センササーバ
シンクノード
ソフトウェア構成
無線
センサノード
Webカメラ
クライアントPC
センササーバ
センサデータ
取得モジュール
ARToolkit
タグID
フィルタモジュール
OpenGL
空間座標系
リアルタイム
センサ取得
モジュール
センサデータ
センサデータ
描画モジュール
タイムマシン
センサ取得
モジュール
センサ
データ
リクエスト・
センサデータ
…
センサデータ
配信モジュール
センサ
データ
リクエスト・
過去の
センサデータ
描画情報
OpenGL
センサデータベース
HMD
実装環境
クライアント
サーバ
• ソフトウェア
• ソフトウェア
– OS
– OS
• Windows XP Service Pack2
– 言語
• C/C++
– コンパイラ
• Visual Studio 2005
• Windows XP Service Pack2
– 言語
• JDK 6.0
– データベース
• MySQL
– ライブラリ
• ARToolkit
• OpenGL
• ハードウェア
– CPU
• Intel Core Duo 1.5GHz
– メモリ
• 512MB
• ハードウェア
– CPU
• Pentium M 1.70GHz
– メモリ
• 1GB
評価
• センサ数に対するスケーラビリティ調査
– 情報を表示するセンサの数を増やしたとき表示に要する時間の変化
を計測
• 対象データ
– 1ヶ月間センサ情報を収集
• 20080601 – 20080630
– 1分毎にデータ更新
– センサ数100個
• 実際に1ヶ月間計測されたセンサ情報を元にソフトウェア的にデータ生成
• 使用センサ
– uPart （ドイツ カールスルーエ大学TecOラボ）
• 照度
• 温度
• 1軸加速度センサ
結果
対象センサ
個数
1
平均時間
（ミリ秒）
3.2735
10
100
6.7921 29.7655
※
本システムは30fpsで動作する
30fps = 1フレーム辺り33ミリ秒
ユーザビリティ評価
• ユーザビリティ評価を行った
• 参加者
– 7人
• 内3人はセンサを使った環境モニタリングシステムを
扱った経験があった
– 20 ～ 25歳
• 内容
– 環境内に10個設置されたセンサ情報を読み取る
– 操作終了後，アンケートに回答
実験環境
• LOFT in LOFT プロジェクト 実験スペース
– 生活空間を想定した部屋に多数のセンサが埋め
込まれている
結果
1
2
3
4
5
平均
日常的にuMegane システムを使
いたい
0
3
2
2
2
2.8571
異常検知を行う際には
uMegane システムを使いたい
0
3
1
4
2
4.1429
uMegane システムはセンサ情報を
可視化する際には有用である
0
0
0
2
5
4.7142
uMegane システムはデータベース
を直接操作するよりも使いやすい
0
1
0
0
6
4.5714
Web インターフェースよりも
uMegane システムを使いたい
0
0
3
2
2
3.8571
二次元バーコードと携帯電話を
用いてセンサ情報を取得するよりも
uMegane システムを使いたい
0
0
0
1
6
4.8571
SFC Open Research Forum 2007
（ORF 2007）
• ORF 2007にてデモを行った
– 開催日
• 2007年11月22 ・ 23日
– 場所
• 六本木ヒルズ
• 来場者から多数のコメントを頂いた
ユーザビリティ評価及びORF 2007で
頂いたコメント
• インターフェースの直感性
– “携帯電話よりも存在を意識しなかった”
– “使用用途によっては携帯電話を用いた操作よりも直感的で理解しや
すい”
– “リアルタイムにセンサ情報が変化していく様子を見るのは楽しい”
• ヴィジュアルマーカへの不満
– “現実空間にヴィジュアルマーカを貼るのは不恰好”
– “センサの LED を用いて認識する手法もあるのでは”
• 情報の見せ方への改善要求
– “カメラの撮影角度等によって情報が見え難くなる”
– “常に何かを表示するようにした方がよい”
今後の展望
• フィルタの拡充
– 多様なフィルタを用意する
– コンテキストに応じたフィルタ選択
• ビジュアルマーカ以外でのセンサ認識
– LEDを用いた光通信
まとめ
• センサ情報を可視化する“uMegane”システム
を開発した
– AR技術を用いて現実空間の映像上にセンサ情
報を投影する
– 膨大な情報から必要な情報のみ取得できるよう
にセンサ情報フィルタ機構を実装した
• ユーザビリティ評価を行い，有用性を確かめ
た
• ORF 2007でデモを行った
ご清聴ありがとうございました