論文発表

che 20091013

本発表について

• 今回の論文はウェアラブルコンピューティング とインタラクションの研究 • 発表の狙い – インタラクションに関する論文を読んできたかった • 修論で参考にしたい – 「眼鏡をかける」というネタの優位性を考えたかっ た

WUW - Wear Ur World - A Wearable Gestural Interface P. Mistry, P. Maes, L. Chang.

MIT Media Lab

論文概要

• • In the CHI '09 extended abstracts on Human factors in computing systems. Boston, USA. 2009 内容はビデオを見てもらうのが手っ 取り早いと思います

Abstract

• WUW – Wear Ur World – A Wearable Gestural Interface – 情報を tangible world に持ち出すウェアラブルジェス チャーインターフェース • これまで情報は紙かデジタルスクリーンに結びつけられて きた – 帽子かペンダントに取り付けられたプロジェクタとカメ ラのようなウェアラブルデバイスを用いる – – 壁等の現実空間上のオブジェクトの表面に情報を投 影する ジェスチャーにより情報の操作を可能にする • 手や腕，オブジェクトの動きによるジェスチャー

Background

• • マルチタッチとジェスチャーベースのインタラ クションシステムが開発されてきた – テーブルや壁を用いたコンピューティング – 現実世界でのジェスチャーを用いたインタラクショ ン モバイルコンピューティングデバイスの普及 – どこでもデジタル情報にアクセスできる

Issue

• There is no link between our interaction with these digital devices and interaction with the physical world around us.

– 既存のマルチタッチインタラクションシステムはモバイル ではない – 既存の小型モバイルデバイスはフルサイズのジェスチャ システムには及ばない • When digital information is projected onto physical objects, instinctively it makes sense to interact with it in similar patterns as with physical objects: through hand gestures.

Aim

• To explore the novel free-hand gestural interaction that WUW proposes.

– WUW: a computer-vision based wearable and gestural information interface that augments the physical world around us with digital information and proposes natural hand gestures as the mechanism to interact with that information. – It is not the aim of this research to present an alternative to multi-touch or gesture recognition technology

Related Work

• • AR に対する WUW の優位性 – WUW allows the user to interact with the projected information using hand gestures – the information is projected onto the objects and surfaces themselves, rather than onto glasses or goggles, which results in a very different user experience – the user does not need to wear special glasses AR に関する研究は WUW に影響を与えている – wearable computing research projects and object augmentation research projects inspires the WUW prototype.

What is WUW a wearable gestural interface

Device

• カメラと小型プロジェクタから構成される • • • それぞれ帽子かペンダントに取り付ける カメラ – – ユーザの見ているものを撮る ユーザの手や腕の動きを認識する プロジェクタ – 現実空間上のオブジェクトに 情報を投影する • Color Markers – 人差し指と親指に 色のついたマーカを付ける – 指の認識に用いる

Prototype Application

• • • • • Map Application – ジェスチャで地図のズームイン / ズームアウトができる Drawing Application – ジェスチャでお絵描きできる Camera Application – ジェスチャで写真が撮れる • カメラを手に持つ必要がない – 撮った写真は現実空間のオブジェクトに投影できる Information Application – ユーザが操作しているオブジェクトの追加的な情報を 投影できる – ex. 新聞にニュース映像を投影する Watch Application – ユーザの腕に時計を投影する

Gestural Interaction of WUW

• The WUW primarily recognizes three types of gestures – Gestures supported by multi-touch systems – Freehand gestures – Iconic gestures (in-the-air drawings)

Gestures supported by multi-touch systems • • • • iPhone のような操作 pinch – ズームイン・ズームアウト flip – ドキュメント中の表示領域の移動等 pen • • ペンの上げ下げ お絵描きの時に使う

Freehand gestures

• • • 日常生活でもよく見るジェスチャ 手で四角形を作る – カメラのフレームを象徴 – カメラアプリケーションで使う “Namaste” – 任意の画面からホーム画面への遷移

Iconic gestures

• • • stylus-based interfaces ユーザの描いたシンボルやアイコンを認識して インタラクション 例 – – – “ ☆ ” を描く • 天気アプリケーションの起動 “@” を描く • メールチェック “ × ” を描く • Undo 操作

WUW prototype

• 三つのハードウェアで構成 – pocket projector • 3M MPro110 – camera • Logitech QuickCam 帽子に取り付ける – laptop computer • OS – Microsoft Windows platform • Language – C# • Library – WPF （画面描画） – OpenCV （画像解析） バックパックに入れる

画像認識

• • 指の認識 – – prototype ではマーカのついた 4 本の指しか認識しない • 両手の人差し指と親指 4 本しか指を認識しない理由 • 自然な手のジェスチャでは人差し指と親指が重要 • 指の数を制限する事でユーザ数がわかる – マルチユーザのインタラクションを可能に オブジェクトの認識 – 数種類のオブジェクトの認識が可能 • • • 新聞 コーヒーカップ 本

Discussion

• • • • wearable gestural interface を提案した – 現実空間と仮想空間をより一層結びつける 既存の手法に比べて斬新なインタラクション – 写真を撮るインタラクション等 コンパクトで廉価 – ＄ 350 ジェスチャ認識のためのハードウェアがカメラ – 特別な操作を科すようなハードウェアがいらない • touch-screens • QWERTY keybords • pointing devices

Future Work

• • • • カラーマーカを無くしたい – ユーザビリティを改善する 現実空間上のオブジェクト認識能力の改善 ペンダント型デバイスの開発 – – it would be socially more acceptable ビデオではできてるように見える 近いうちに評価を取る – 2 ヶ月間の informal なユーザフィードバックは既に あるが，かなり positive な結果だった

個人的な感想

• • • 単純に面白かった – – 文章もわかりやすかった ビデオが特に楽しい • 写真を撮ってる辺りが最高です 言い方次第では眼鏡のレンズによるインタラク ションも認められるのでは？と期待 – – 自分のビジョンを語るのは大事 インパクトのあるビデオを撮りたい 次は評価をしてる論文を読みたい – 修論で評価方法を参考にしたい