Transcript PPT - 京都大学
フィールド情報学 ヒューマンセンシング
京都大学 学術情報メディアセンター 中村 裕一 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
1/52
ヒューマンセンシング: 人間やその活動の計測
• 人間の活動の例 – – – 単独の行動 • 日常生活における単純作業 • 歩行,摂食,購買行動,... 社会的な行動 • 教室での生徒の行動 • 会議・講義での参加者の行動 その他 • パニックに陥った群衆の行動 • • 何をどのように計測するか どのようにデータを整理するか Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
2/52
ヒューマンセンシングの目的
• • • • 外面的状況の理解 – 内面的状態の理解 – – 何をどのようにしたいのか 何をどのように感じたか コミュニケーションの理解 – – 何をどのように伝えようとしたか 何がどのように伝わったか 社会システムの理解 – 誰がどこで何をどのようにしている か 人間の社会活動がどのように起こっ ているか Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
3/52
人間に関する情報 (例)
(a) 外面的状態 – 身体動作 ( 表2を参照 ) – 身体的特徴 ( 容姿,発汗,体臭,その他 ) (b) 内面的状態 – 心理的状態 ( 緊張,恐怖,感情,快・不快, その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
4/52
計測方法の概要
• • 外部表出・社会的な状況 – 物理的なセンサ,主に非侵襲的なセンサ 内部状態 – 生理状態 • 物理的なセンサ,侵襲的なセンサを使う必要性 – 心理的な状態 • 内省,脳の計測 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
5/52
(参考)質的研究と物語性
• • エスノグラフィー エスノメソドロジー • ある現象がまさに起こっているその現場へ接近 して,各々のメンバが組織や現象を構成している 方法や仕組みを記述することを目的としている. エスノグラフィー ( 民族誌 ) は,研究者が対象とす る社会に入り込んで,そこで起る現象の質的説 明をすることが目的である. Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
6/52
(参考)エスノグラフィーの方法
• • • • • • • • • 共同体での生活の一定の範囲について、重要な相談相 手との詳細な作業。 徹底的な聞き取り調査。 地域特有の信念と認識の発見。 問題志向型の調査。 長期の調査。これは一つの地域についての長期の継続 的な研究である。 異なる堅苦しさのレベルにある人との会話。これには ちょっとしたお喋りから長時間の聞取り調査を含む 系譜学的手法。 事例研究。 チームでの調査。 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
7/52
ヒューマンセンシングにおけるポイント
• • • 客観的データ – 種々のセンサ 多面的な計測 – 膨大なデータ データの整理 – データ間の関 係づけ(同期) – データの閲覧 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
8/52
人間に関する情報 (例)
(a) 外面的状態 – 身体動作 ( 表2を参照 ) – 身体的特徴 ( 容姿,発汗,体臭,その他 ) (b) 内面的状態 – 心理的状態 ( 緊張,恐怖,感情,快・不快, その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
9/52
外部表出情報の計測 [ 表2 ]
• • • • • 表情 : 画像センサ 動作 ( 位置 ): 磁気センサ,画像センサ, データグローブ 位置 : ビーコン /RFID , GPS ,ジャイロセン サ 音声 : 音声認識,音響認識 視線 / 視点 : アイマークレコーダ,画像セン サ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
10/52
人間の位置・動き
• 画像によるセンシング • 磁気・超音波によるセンシング Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
11/52
人の位置の認識
• • 画像センサと画像認識 – ほぼリアルタイムでの追跡が 可能 – 監視,セキュリティの用途で 良く研究開発されてきた 魚眼レンズ,全方位カメラの 利用 – 360 度全周方向の画像 – 解像度が落ちるため,用途に 合わせて使う Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
12/52
顔の検出
• • 画像中の濃淡 の変化と標準 的顔パターンと の照合 近年,非常に高 速化が進み,小 さな機器にも組 み込まれるよう になってきた Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
13/52
視線の計測
• • • • 眼球の方向と注視点の方 向が一致する アイマークレコーダが用い られる めがねや帽子に着けるも のが多い 身に着ける必要ないもの (外部からの観測)も可能 になってきた Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
14/52
視線の計測
• • • どこを(何を)見ていたか どのくらいの時間見ていたか どのように移動したか • • • 注意 興味 見易さ・理解しやすさ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
15/52
磁気センサ
(
モーションキャプチャ
) • • 画像処理との比較 – – 精度,速度良 隠れに強い 選択要因 – – – – – – ▲ コスト・大きさ × 接触・非接触 ◎ 雑音・精度 ◎ 隠れ ◎ 周囲の光環境 ×その他制約 ( 金属を嫌う ) Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
16/52
• ステレオカメラ
3 次元計測
ステレオ写真 実時間ステレオカメラ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
17/52
多眼実時間ステレオ
• 1995 年 Carnegie Mellon University Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
18/52
レンジファインダ ( 光切断法 )
• • • • • レーザー光等,強い光 – – レーザー光 プロジェクタ光 ステレオと同様の 3 次元測量 – エピポーラ幾何が成立する – 対応問題がないため,精度が 非常に良い 一ラインにつき一枚の画像 安全性が高くなり,顔などの計 測にも利用可能になってきた 対象物体を回転させながら全周 を計測するシステムもある – 奥行き画像の貼りあわせ スリット光 カメラ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
19/52
空間コーディング
• • • 光切断法では一ラインに一枚 の画像が必要となるため,計 測に時間がかかる できるだけ少数の画像で計測 を行うための工夫 数枚の画像中での各点の明 るさを見れば,プロジェクタか らの見かけの位置 (u, v) がわ かる 物体 マスク カメラ 光源 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
投影パターン 20/52
人間に関する情報 (例)
(a) 外面的状態 – 身体動作 ( 表2を参照 ) – 身体的特徴 ( 容姿,発汗,体臭,その他 ) (b) 内面的状態 – 心理的状態 ( 緊張,恐怖,感情,快・不快, その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
21/52
種々の生理的情報 (例) [ 表3 ]
• • • • • • 心電図,心拍数,血圧,脈圧,容積脈波, 血中 O2/CO2 濃度 呼吸数,呼気中 O2/CO2 濃度 眼球電位,瞬目,瞳孔径,焦点位置 筋電図,誘発筋電位 皮膚電位活動,フリッカ値,体温,顔面皮 膚温分布,発汗量 脳波,脳磁界図 (MEG) , fMRI , NIRS Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
22/52
脳活動の計測
• • • ニューロンの電気的活動 それにより起こる磁界 血流と代謝 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
23/52
脳波計測
• • ニューロンの信号伝達により微小な電気 活動が起こる 頭皮に現れる微小電位を増幅して計測 - 0 -50 I 1 I
2
-50
-
-100 I 1 I
2
-50
-5
0 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
24/52
脳波の計測法
• 10-20 法:鼻根と後頭結節の間,および左 右耳介前点の間を 10 , 20 , 20 , 20 , 20 , 10 %に分割し,電極を配置する. 鼻根部 Nasion 左耳 右耳 後頭結節 Inion Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
25/52
脳波の分類
• • • • • • • • デルタ波 δ (デルタ): 1 ~ 3Hz シータ波 θ (シータ): 4 ~ 7Hz アルファ波 α (アルファ): 8 ~ 13Hz ベータ波 β (ベータ): 14 ~ 30Hz ガンマ波 γ (ガンマ): 30 ~ 64Hz オメガ波 ω (オメガ): 64 ~ 128Hz ロー波 ρ (ロー): 128-512Hz シグマ波 σ (シグマ): 512-1024Hz 睡眠 興奮 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
26/52
• •
NIRS
近赤外線(波長: 800nm 付近)は頭皮・頭蓋 骨を容易に透過する. 反射光を 計測する 10-30 mm 離れた頭皮上の点で • ヘモグロビンの増減や酸素交換の度合い が計測できる Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
27/52
MEG (脳磁界図)
• • • • ニューロンの活動 により発生する微 弱磁界を計測 大がかりなシステ ムが必要 時間分解能が高い 雑音に弱い Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
28/52
f MRI ( functional MRI )
• • 脳活動(血流,代謝量)の計測 酸化ヘモグロビンが脱酸化ヘモグロビンに 変化する際の核磁気共鳴を利用 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
29/52
筋電位・筋電図
• 筋繊維上に生じる膜電位の集積 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
30/52
筋電位計測
• 数ミリボルトの電圧 • 比較的簡単な回路で計測可能 • 雑音対策が重要 電極(簡単に自作できる) アンプ(簡単に自作できる) Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
31/52
複数個所の同時計測(クラウチングスタートの例) 右大殿筋 左大殿筋 右大腿二頭筋 左大腿二頭筋 右大腿直筋 左大腿直筋 右前頸骨筋 左前頸骨筋 1mv 0.5sec Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
32/52
筋電位に現れる特徴の例 光刺激 でのスタ ート 自分の タイミング 0.5sec Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
33/52 1mv
内省による主観データの収集
• • • 会話分析 プロトコル分析 ナラティブ分析 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
34/52
会話分析
1A: 良くできてるやん 2B: またまた,お世辞ばっかり, | ははは 3A: | いや,ほんまに良くできて るって (a) 語彙の選択, (b) 順番のデザイン, (c) シーケンスの組織化, (d) 全般的な構造組織化, (e) 社会的なエピステモロジーと社会諸関係 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
35/52
プロトコル分析
1: えーっと,どれや. 2: あ,これか. 3: なんか見にくいなぁ. 4: うーん,これ押すの怖いな. 5: 終了って書いてあるし,全部消えるんちゃうか? 対象者の意識に上ったことを可能な限り言語として発話 してもらい,データとして記録,分析する.それによって, 対象者の認知過程を分析する. Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
36/52
プロトコル分析
• • • 行動中に同時に発話する方法 (think aloud 法 ) 行動が終わった後にその行動について発 話する方法 (retrospective report 法 ) ビデオ映像などで記録し,記録からプロト コルデータを書き起こしながら詳細に検討 していく Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
37/52
ナラティブ分析
• • 対象者が自らの経験や人生について語り,それ をもとに分析を行う手法 家族療法の発展の中でナラティブセラピーが提 唱されたことから始まる. • ナラティブ生成質問によって面接対象者に何を 語るべきかの焦点を絞り,語り始めを促す. – できるだけ口を挟まず,後で曖昧な部分に対して追加 的に質問を行う「問わず語り型」 – 面接者の質問によってナラティブの流れを作る「問い かけ語り型」 38/52 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
人間に関する情報 (例)
(a) 外面的状態 – 身体動作 ( 表2を参照 ) – 身体的特徴 ( 容姿,発汗,体臭,その他 ) (b) 内面的状態 – 心理的状態 ( 緊張,恐怖,感情,快・不快, その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
39/52
コミュニケーション状態のセンシング
• • ノンバーバル(非言語)情報の重要性 – 人間の扱っている情報の7~8割は言語以外 の情報だと言われている ノンバーバル情報の観測は多岐にわたる – 態度 – 身体的特徴 – 発汗,体臭 – 衣服,装飾品 – その他 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
40/52
(参考)遠隔コミュニケーション
• • • 非同期コミュニケーション – メール – Web, 掲示板 実時間コミュニケーション – – – チャット TV会議 遠隔講義 実時間コミュニケーションの技術が進歩し てきている Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
41/52
メディア技術による人間行動の記録
• • • • • 重要な情報を漏れなく記録するために,複数の センサでの同時記録が必要となる 相互関係が簡単にわかるように同期されている ことが必要である. センシングが自然な活動を損なわないように,可 能な限り非侵襲のセンサを用いることが望ましい. 膨大かつ長時間のデータを簡単に俯瞰できるイ ンタフェース ( ブラウザ等 ) が必要となる. データの柔軟な検索や再利用を可能にするため にはインデックスを付与することが不可欠となる. Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
42/52
• •
会議・室内会話シーンの撮影
行動を制限したくない – 部屋に入ってから座るまで,その他の移動を追跡 座ってからも体 ( 頭 ) の動きを補償したい – 構図を保った追跡撮影.種々の構図をあらかじめ設定 観測カメラ: 人物の位置検出 映像を提示 • • 2 種類のカメラ群 – – 環境カメラ コンテンツ撮影カメラ
観測カメラ: 人物の位置検出 映像を提示 撮影カメラ: 首振りカメラに よって追跡撮影 pan/tilt 制御 MPEG エンコード, HDD に録画 映像切替器 カメラ制御コンポーネント 制御指令・映像選択 コンポーネント Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
44/52
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
45/52
スマートミーティングシステム
• • 会議のリア ルタイムコ ンテンツ化 会議支援 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
46/52
ライフログ(個人行動記録)
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
47/52
ライフログ(個人行動記録)
• 各記録断片間の関連の有無の判断は困難 – – 位置、時刻の情報などから自動で関連行列を作成 一連の行動 → 部屋を出入りする間の記録 部屋に入ってから 出て行くまで – 記録中の物体の場所 → 作業場所への移動 ここで作業 ここから持っていく Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
48/52
データの閲覧
部屋の中での行動を俯瞰するためのブラウザ 関連する行動を検索するためのブラウザ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
49/52
データのインデキシング
• • メタデータ メディア処理 (画像,音声,その他)による 自動認識 • XML • MPEG7 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
50/52
ANVIL
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
51/52
インデックスの例