Transcript PPT - 京都大学
フィールド情報学 ヒューマンセンシング
京都大学 学術情報メディアセンター 中村 裕一 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
1/52
ヒューマンセンシング： 人間やその活動の計測
• 人間の活動の例 – – – 単独の行動 • 日常生活における単純作業 • 歩行，摂食，購買行動，．．． 社会的な行動 • 教室での生徒の行動 • 会議・講義での参加者の行動 その他 • パニックに陥った群衆の行動 • • 何をどのように計測するか どのようにデータを整理するか Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
2/52
ヒューマンセンシングの目的
• • • • 外面的状況の理解 – 内面的状態の理解 – – 何をどのようにしたいのか 何をどのように感じたか コミュニケーションの理解 – – 何をどのように伝えようとしたか 何がどのように伝わったか 社会システムの理解 – 誰がどこで何をどのようにしている か 人間の社会活動がどのように起こっ ているか Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
3/52
人間に関する情報 （例）
(a) 外面的状態 – 身体動作 ( 表２を参照 ) – 身体的特徴 ( 容姿，発汗，体臭，その他 ) (b) 内面的状態 – 心理的状態 ( 緊張，恐怖，感情，快・不快， その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
4/52
計測方法の概要
• • 外部表出・社会的な状況 – 物理的なセンサ，主に非侵襲的なセンサ 内部状態 – 生理状態 • 物理的なセンサ，侵襲的なセンサを使う必要性 – 心理的な状態 • 内省，脳の計測 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
5/52
（参考）質的研究と物語性
• • エスノグラフィー エスノメソドロジー • ある現象がまさに起こっているその現場へ接近 して，各々のメンバが組織や現象を構成している 方法や仕組みを記述することを目的としている． エスノグラフィー ( 民族誌 ) は，研究者が対象とす る社会に入り込んで，そこで起る現象の質的説 明をすることが目的である． Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
6/52
（参考）エスノグラフィーの方法
• • • • • • • • • 共同体での生活の一定の範囲について、重要な相談相 手との詳細な作業。 徹底的な聞き取り調査。 地域特有の信念と認識の発見。 問題志向型の調査。 長期の調査。これは一つの地域についての長期の継続 的な研究である。 異なる堅苦しさのレベルにある人との会話。これには ちょっとしたお喋りから長時間の聞取り調査を含む 系譜学的手法。 事例研究。 チームでの調査。 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
7/52
ヒューマンセンシングにおけるポイント
• • • 客観的データ – 種々のセンサ 多面的な計測 – 膨大なデータ データの整理 – データ間の関 係づけ（同期） – データの閲覧 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
8/52
人間に関する情報 （例）
(a) 外面的状態 – 身体動作 ( 表２を参照 ) – 身体的特徴 ( 容姿，発汗，体臭，その他 ) (b) 内面的状態 – 心理的状態 ( 緊張，恐怖，感情，快・不快， その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
9/52
外部表出情報の計測 [ 表２ ]
• • • • • 表情 : 画像センサ 動作 ( 位置 ): 磁気センサ，画像センサ， データグローブ 位置 : ビーコン /RFID ， GPS ，ジャイロセン サ 音声 : 音声認識，音響認識 視線 / 視点 : アイマークレコーダ，画像セン サ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
10/52
人間の位置・動き
• 画像によるセンシング • 磁気・超音波によるセンシング Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
11/52
人の位置の認識
• • 画像センサと画像認識 – ほぼリアルタイムでの追跡が 可能 – 監視，セキュリティの用途で 良く研究開発されてきた 魚眼レンズ，全方位カメラの 利用 – 360 度全周方向の画像 – 解像度が落ちるため，用途に 合わせて使う Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
12/52
顔の検出
• • 画像中の濃淡 の変化と標準 的顔パターンと の照合 近年，非常に高 速化が進み，小 さな機器にも組 み込まれるよう になってきた Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
13/52
視線の計測
• • • • 眼球の方向と注視点の方 向が一致する アイマークレコーダが用い られる めがねや帽子に着けるも のが多い 身に着ける必要ないもの （外部からの観測）も可能 になってきた Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
14/52
視線の計測
• • • どこを（何を）見ていたか どのくらいの時間見ていたか どのように移動したか • • • 注意 興味 見易さ・理解しやすさ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
15/52
磁気センサ
(
モーションキャプチャ
) • • 画像処理との比較 – – 精度，速度良 隠れに強い 選択要因 – – – – – – ▲ コスト・大きさ × 接触・非接触 ◎ 雑音・精度 ◎ 隠れ ◎ 周囲の光環境 ×その他制約 ( 金属を嫌う ) Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
16/52
• ステレオカメラ
3 次元計測
ステレオ写真 実時間ステレオカメラ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
17/52
多眼実時間ステレオ
• 1995 年 Carnegie Mellon University Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
18/52
レンジファインダ ( 光切断法 )
• • • • • レーザー光等，強い光 – – レーザー光 プロジェクタ光 ステレオと同様の 3 次元測量 – エピポーラ幾何が成立する – 対応問題がないため，精度が 非常に良い 一ラインにつき一枚の画像 安全性が高くなり，顔などの計 測にも利用可能になってきた 対象物体を回転させながら全周 を計測するシステムもある – 奥行き画像の貼りあわせ スリット光 カメラ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
19/52
空間コーディング
• • • 光切断法では一ラインに一枚 の画像が必要となるため，計 測に時間がかかる できるだけ少数の画像で計測 を行うための工夫 数枚の画像中での各点の明 るさを見れば，プロジェクタか らの見かけの位置 (u, v) がわ かる 物体 マスク カメラ 光源 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
投影パターン 20/52
人間に関する情報 （例）
(a) 外面的状態 – 身体動作 ( 表２を参照 ) – 身体的特徴 ( 容姿，発汗，体臭，その他 ) (b) 内面的状態 – 心理的状態 ( 緊張，恐怖，感情，快・不快， その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
21/52
種々の生理的情報 （例） [ 表３ ]
• • • • • • 心電図，心拍数，血圧，脈圧，容積脈波， 血中 O2/CO2 濃度 呼吸数，呼気中 O2/CO2 濃度 眼球電位，瞬目，瞳孔径，焦点位置 筋電図，誘発筋電位 皮膚電位活動，フリッカ値，体温，顔面皮 膚温分布，発汗量 脳波，脳磁界図 (MEG) ， fMRI ， NIRS Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
22/52
脳活動の計測
• • • ニューロンの電気的活動 それにより起こる磁界 血流と代謝 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
23/52
脳波計測
• • ニューロンの信号伝達により微小な電気 活動が起こる 頭皮に現れる微小電位を増幅して計測 － ０ －５０ Ｉ １ Ｉ
2
－５０
-
－１００ Ｉ １ Ｉ
2
－５０
-5
０ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
24/52
脳波の計測法
• 10-20 法：鼻根と後頭結節の間，および左 右耳介前点の間を 10 ， 20 ， 20 ， 20 ， 20 ， 10 ％に分割し，電極を配置する． 鼻根部 Nasion 左耳 右耳 後頭結節 Inion Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
25/52
脳波の分類
• • • • • • • • デルタ波 δ （デルタ）： 1 ～ 3Hz シータ波 θ （シータ）： 4 ～ 7Hz アルファ波 α （アルファ）： 8 ～ 13Hz ベータ波 β （ベータ）： 14 ～ 30Hz ガンマ波 γ （ガンマ）： 30 ～ 64Hz オメガ波 ω （オメガ）： 64 ～ 128Hz ロー波 ρ （ロー）： 128-512Hz シグマ波 σ （シグマ）： 512-1024Hz 睡眠 興奮 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
26/52
• •
NIRS
近赤外線（波長： 800nm 付近）は頭皮・頭蓋 骨を容易に透過する． 反射光を 計測する 10-30 mm 離れた頭皮上の点で • ヘモグロビンの増減や酸素交換の度合い が計測できる Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
27/52
MEG （脳磁界図）
• • • • ニューロンの活動 により発生する微 弱磁界を計測 大がかりなシステ ムが必要 時間分解能が高い 雑音に弱い Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
28/52
ｆ MRI （ functional MRI ）
• • 脳活動（血流，代謝量）の計測 酸化ヘモグロビンが脱酸化ヘモグロビンに 変化する際の核磁気共鳴を利用 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
29/52
筋電位・筋電図
• 筋繊維上に生じる膜電位の集積 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
30/52
筋電位計測
• 数ミリボルトの電圧 • 比較的簡単な回路で計測可能 • 雑音対策が重要 電極（簡単に自作できる） アンプ（簡単に自作できる） Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
31/52
複数個所の同時計測（クラウチングスタートの例） 右大殿筋 左大殿筋 右大腿二頭筋 左大腿二頭筋 右大腿直筋 左大腿直筋 右前頸骨筋 左前頸骨筋 1ｍv ０．５sec Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
32/52
筋電位に現れる特徴の例 光刺激 でのスタ ート 自分の タイミング ０．５sec Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
33/52 1ｍv
内省による主観データの収集
• • • 会話分析 プロトコル分析 ナラティブ分析 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
34/52
会話分析
1A: 良くできてるやん 2B: またまた，お世辞ばっかり， | ははは 3A: | いや，ほんまに良くできて るって (a) 語彙の選択， (b) 順番のデザイン， (c) シーケンスの組織化， (d) 全般的な構造組織化， (e) 社会的なエピステモロジーと社会諸関係 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
35/52
プロトコル分析
1: えーっと，どれや． 2: あ，これか． 3: なんか見にくいなぁ． 4: うーん，これ押すの怖いな． 5: 終了って書いてあるし，全部消えるんちゃうか？ 対象者の意識に上ったことを可能な限り言語として発話 してもらい，データとして記録，分析する．それによって， 対象者の認知過程を分析する． Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
36/52
プロトコル分析
• • • 行動中に同時に発話する方法 (think aloud 法 ) 行動が終わった後にその行動について発 話する方法 (retrospective report 法 ) ビデオ映像などで記録し，記録からプロト コルデータを書き起こしながら詳細に検討 していく Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
37/52
ナラティブ分析
• • 対象者が自らの経験や人生について語り，それ をもとに分析を行う手法 家族療法の発展の中でナラティブセラピーが提 唱されたことから始まる． • ナラティブ生成質問によって面接対象者に何を 語るべきかの焦点を絞り，語り始めを促す． – できるだけ口を挟まず，後で曖昧な部分に対して追加 的に質問を行う「問わず語り型」 – 面接者の質問によってナラティブの流れを作る「問い かけ語り型」 38/52 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
人間に関する情報 （例）
(a) 外面的状態 – 身体動作 ( 表２を参照 ) – 身体的特徴 ( 容姿，発汗，体臭，その他 ) (b) 内面的状態 – 心理的状態 ( 緊張，恐怖，感情，快・不快， その他 ) – 生理的状態 ( 表 3 を参照 ) (c) コミュニケーションの状態 – – 発話・言語によるコミュニケーション 言語によらない ( ノンバーバル ) コミュニ ケーション Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
39/52
コミュニケーション状態のセンシング
• • ノンバーバル（非言語）情報の重要性 – 人間の扱っている情報の７～８割は言語以外 の情報だと言われている ノンバーバル情報の観測は多岐にわたる – 態度 – 身体的特徴 – 発汗，体臭 – 衣服，装飾品 – その他 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
40/52
（参考）遠隔コミュニケーション
• • • 非同期コミュニケーション – メール – Web, 掲示板 実時間コミュニケーション – – – チャット ＴＶ会議 遠隔講義 実時間コミュニケーションの技術が進歩し てきている Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
41/52
メディア技術による人間行動の記録
• • • • • 重要な情報を漏れなく記録するために，複数の センサでの同時記録が必要となる 相互関係が簡単にわかるように同期されている ことが必要である． センシングが自然な活動を損なわないように，可 能な限り非侵襲のセンサを用いることが望ましい． 膨大かつ長時間のデータを簡単に俯瞰できるイ ンタフェース ( ブラウザ等 ) が必要となる． データの柔軟な検索や再利用を可能にするため にはインデックスを付与することが不可欠となる． Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
42/52
• •
会議・室内会話シーンの撮影
行動を制限したくない – 部屋に入ってから座るまで，その他の移動を追跡 座ってからも体 ( 頭 ) の動きを補償したい – 構図を保った追跡撮影．種々の構図をあらかじめ設定 観測カメラ： 人物の位置検出 映像を提示 • • 2 種類のカメラ群 – – 環境カメラ コンテンツ撮影カメラ
観測カメラ： 人物の位置検出 映像を提示 撮影カメラ： 首振りカメラに よって追跡撮影 pan/tilt 制御 MPEG エンコード， HDD に録画 映像切替器 カメラ制御コンポーネント 制御指令・映像選択 コンポーネント Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
44/52
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
45/52
スマートミーティングシステム
• • 会議のリア ルタイムコ ンテンツ化 会議支援 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
46/52
ライフログ（個人行動記録）
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
47/52
ライフログ（個人行動記録）
• 各記録断片間の関連の有無の判断は困難 – – 位置、時刻の情報などから自動で関連行列を作成 一連の行動 → 部屋を出入りする間の記録 部屋に入ってから 出て行くまで – 記録中の物体の場所 → 作業場所への移動 ここで作業 ここから持っていく Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
48/52
データの閲覧
部屋の中での行動を俯瞰するためのブラウザ 関連する行動を検索するためのブラウザ Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
49/52
データのインデキシング
• • メタデータ メディア処理 （画像，音声，その他）による 自動認識 • XML • MPEG7 Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
50/52
ANVIL
Copyright(C) 2009 Field Informatics Research Group, Kyoto University. All rights reserved.
51/52
インデックスの例