Transcript A Study of Mood Degitalization using Wearable Vital Information

ウェアラブル生体情報センサを利用した雰囲
気のデジタル化に関する研究
- A Study of Mood Digitalization using
Wearable Vital Information Sensors 慶應義塾大学大学院 政策・メディア研究科 修士２年
山本 純平
1
研究の流れ
雰囲気の有用性
循環モデル
雰囲気は「場に存在する
気分の集合」である
予備調査・定義
定義の妥当性評価
気分の解析
ウェアラブル生体情報セ
ンサを利用
8つに気分を分類
精度の評価
気分が解析できれば，
雰囲気のデジタル化が
実現可能
雰囲気のデジタル化
雰囲気の特性から要件を
整理
8次元空間によるデジタ
ル化
2
はじめに
• 日常的な雰囲気の利用
– 日常生活において雰囲気を感じ取り，利用している
– 音，温度，存在する人々，モノなどにより構成
• 雰囲気の有用性
– 雰囲気の変化によるコンテクスト取得
• トラブルの検知
– トリガとしての利用
• 楽しい雰囲気の時に楽しい音楽を流す
– ロボット技術への応用
– Smart Spaceでの利用
• 本研究の立ち位置
– 雰囲気のデジタル化という研究分野の第一歩
3
雰囲気に関する研究
• 雰囲気の可視化
– 雰囲気を可視化するコミュニケーション
SHOJI(東京大学, 2008)
– 可視化以外の用途には利用できない
• 雰囲気の制御
ツール
SHOJIによる雰囲気の可視化
– RGB蛍光灯を変化させ，雰囲気を制御する(同志社大学,
2008)
– 雰囲気をコントロールする研究
• 雰囲気のデジタル化
– 音声情報を用いた会議の盛り上がりの検知(名古屋大学,
2005)
– 限定された環境での雰囲気をデジタル化
4
心理学的研究
• 色彩心理学
– 色によってどのような影響を受けるのか
• 哲学，倫理学，社会学などの側面からも研究されている
• 音楽心理学
– 旋律，リズム，音の響きなどによって影響は異なる
• 嗅覚心理学
– 経験則によって感情との相関関係が築かれる
• 雰囲気心理学??
– 心理学では取り扱いうる範疇を超える
– 雰囲気は多くの要素に影響を受ける
• リラックスできる環境を構築しても，新しい要素が発生すると変化する
– 心理学的研究を組み合わせて雰囲気をデジタル化することは
困難である
日常的な雰囲気をデジタル化する研究は行われていない
5
雰囲気に関する予備調査
• 目的
– 日常的にどのような雰囲気を感じ取っているのか
• 調査方法
– Googleで”雰囲気”と検索する
– 1000件のうち◯◯な雰囲気と表記されたものを抜粋
• 調査結果
– 49の雰囲気を抜粋
• オシャレな，レトロな，落ち着いた，楽しい，エスニックな，神秘的な，和やかな，
ダークな，高級感，やさしい，大人な，かたい，独特な，懐かしい，モダン，
アットホーム，エロス，盛り上がった，異様な，話しかけやすい，ゴージャス，メ
ルヘン，エレガント，不気味，賑やかな，クラシックな，異空間，スタイリッシュ，
爽やか，明るい，騒がしい，アンティーク，暖かい，沈鬱な，春らしい，オーガ
ニック，癒し，セレブ，ファンタジー，ミステリアス，歓楽的，ナチュラル，悲しい，
緊張感，不思議，怪しい，ゆったり，ネガティブ，厳格な．
– 本結果を代表的な雰囲気とする
6
対象とする雰囲気
• 代表的な雰囲気を大きく2つに分類
– 外見を表した雰囲気
• 場に設置された物，デザイン，色を表現
– 気分を表した雰囲気
• 場によって変化した気分を表現
外見を表した雰囲気
気分を表した雰囲気
オシャレな，レトロな，エスニックな，ダーク
ダークな，高級感，大人な，独特な，モダ
モダン，異様な，ゴージャス，メルヘン，ス
ン，スタイリッシュ，クラシックな，異空間，
異空間，アンティーク，春らしい，オーガ
オーガニック，セレブ，ファンタジー，厳格
厳格な．
落ち着いた，楽しい，神秘的な，和やか
かな，やさしい，かたい，懐かしい，アット
アットホーム，エロス，盛り上がった，話し
話しかけやすい，エレガント，不気味，賑
賑やかな，爽やか，明るい，騒がしい，暖
暖かい，沈鬱な，癒し，ミステリアス，歓楽
歓楽的，ナチュラル，悲しい，緊張感，不
不思議，怪しい，ゆったり，ネガティブ
ブ
7
雰囲気の循環モデル
ケースB
• ケースA
– 雰囲気・気分・行動が影響しあい
循環
1. Mood
2. Feeling
of People
e.g., stressfulness,• ケースB
e.g., cozy restaurant,
pleasant park,
tense classroom
ケースA
happiness,
sadness,
– 雰囲気が気分に影響を与えない
• 内面的要因に影響を受けて
いる
• ケースC
3. Action
ケースC
ケースD
– 気分が行動に影響を与えない
• 気分の変動が小さい
• ポーカーフェイス等
• ケースD
e.g., fighting one another,
facial expression,
conversation,
– 行動が雰囲気に影響を与えない
• 雰囲気の範囲が広く，一人の
行動による影響が小さい
雰囲気の循環モデル
8
雰囲気の定義
• 雰囲気の定義
– 人々の抱く気分に着目
• 無数の要素の影響を受け
た結果
• 気分を雰囲気センサとして
扱う
– 「場に存在する気分の集
合」
• システムの流れ
– １．場に存在する気分の取
得
– ２．気分の集合値による雰
囲気のデジタル化
– ３．雰囲気の利用
システムの流れ
9
気分モデル
• ラッセルの円環モデル
– 愉快・覚醒の2軸によって全ての感情を分類
• 本研究における気分モデル
– 円環モデルを基に8つの気分を抜粋し作成
• 驚き，興奮，楽しい，落ち着き，眠気，憂鬱，悲しみ，緊張
ラッセルの円環モデル
本研究における気分モデル
10
研究の流れ
雰囲気の有用性
循環モデル
雰囲気は「場に存在する
気分の集合」である
予備調査・定義
定義の妥当性評価
気分の解析
ウェアラブル生体情報セ
ンサを利用
8つに気分を分類
精度の評価
気分が解析できれば，
雰囲気のデジタル化が
実現可能
雰囲気のデジタル化
雰囲気の特性から要件を
整理
8次元空間によるデジタ
ル化
11
雰囲気の定義に関する妥当性評価
• 評価方法
– アンケートを用いて気分と雰囲気を取得
• ある一定の時間内に感じた気分及び雰囲気が対象
• 気分モデルに１点書き込んでもらう
• 雰囲気は円グラフで気分の割合を回答
– アンケートによる気分の集合値と雰囲気の一致度を算出
• それぞれ8つの気分の合計値を算出し，全体の割合と比較
– 複数の場で計7回の実験
• 研究会合宿，打ち上げ，飲み会，美容院，ウィンドスクール
憂鬱
眠気
2%
9%
緊張５,
悲しみ５
落ち着
き
12%
緊張 驚き
3% 2%
興奮
17%
楽しい
55%
気分の回答例
雰囲気の回答例
12
評価結果
• 結果一覧
一致度(%)
研究会合宿
打ち上げ
ウィンド
美容院
営業後の美容院
居酒屋A
居酒屋B
83.7
82.3
80.4
76.5
71.2
72.3
0.0
– 雰囲気，気分，行動が循環している場においては，妥当性が高い
– 気分を取得できれば雰囲気のデジタル化が可能
• 研究会合宿での結果
気分
気分の割合(集
雰囲気の割合の
平均値
気分
気分の割合(集
雰囲気の割合の
平均値
驚き
0%(0)
0%
眠気
33.3%(33)
26%
興奮
0%(0)
0%
憂鬱
15.2%(15)
7%
楽しい
7.1%(7)
7%
悲しい
0%(0)
1%
落ち着き
31.3%(31)
30%
緊張
13.1%(13)
28%
– 一致度は83.7%
• 本定義の妥当性は高いと言える
13
研究の流れ
雰囲気の有用性
循環モデル
雰囲気は「場に存在する
気分の集合」である
予備調査・定義
定義の妥当性評価
気分の解析
ウェアラブル生体情報セ
ンサを利用
8つに気分を分類
精度の評価
気分が解析できれば，
雰囲気のデジタル化が
実現可能
雰囲気のデジタル化
雰囲気の特性から要件を
整理
8次元空間によるデジタ
ル化
14
既存手法の比較
• MobileHCI ’09 Measuring Mobile Emotionsに参加
• 表情解析
– しわの流れや正常時との差分から表情を解析
• 音声解析
– 韻律的な特徴と音質から気分を判別
• 生体情報の利用
– 呼吸，EMG，ECG，皮膚温度，BVPなど
– ユーザに負担の高いセンサを利用
• ユーザの入力
– アイコンの選択
• 既存手法の問題点
– ユーザへの負担が高い
– 限定された環境でのみ利用できる
– 日常的に気分を解析することは困難である
15
ウェアラブル生体情報センサを
利用した気分の解析手法
• 気分の判別モデル
– 覚醒及び愉快軸を生体情報から判別
– 正常値と比較し，気分を8つに分類
• 利用する生体情報
– 心拍数：覚醒状態で高くなり，リラックス状態で下がる
– 皮膚温度：快状態で上がり，不快状態で下がる
気分の判別モデル
• 正常値の測定
– ユーザが普段聞いている音楽を流す
– 10分間の平均値から算出
• 一目盛りの値
– 生体情報の最大値を10とし，一目盛りの値を設定
16
使用するセンサ
• 心拍数
– Polar RS-800CX
• 腕時計型センサ，胸にバンドを装着
• 15秒間毎に測定，保存される
• 皮膚温度
– RF-ECG
• 胸に装着
• 無線ネットワークで受信機に送信
• １分間の平均値を保存
17
Polar RS-800CX
RF-ECG
評価実験
• 目的
– 生体情報によって覚醒及び愉快軸を判別できたか
– 個人の正常値及び目盛りが正しく設定できたか
• 評価方法
– 2つの環境で生体情報を取得し気分を解析した
– アンケートによる被験者の気分を取得
• 実験環境
– 研究成果発表会
• 発表前，発表中，発表後の15分間
• 被験者は5名(男性4，女性1)
– 映画鑑賞
• 10分間隔でアンケートを実施
• 被験者は5名(男性4，女性1)
楽しい気分のエリア
18
評価結果
• 4つに分類した時の精度
– 80%の精度で気分を4つに判別可能
– 気分に応じて正確に生体情報の変化が取得できている
解析結果
回
答
結
果
快ー覚醒
快ー眠気
不快ー覚醒
不快ー眠気
快ー覚醒
48.3%
0%
0%
6.7%
快ー眠気
1.7%
11.7%
0%
0%
不快ー覚醒
3.3%
1.7%
6.7%
0%
不快ー眠気
6.7%
0%
0%
13.3%
19
評価結果
• 8つに分類した時の精度
– 65.0%の精度で気分を8つに分類可能
– 正常値及び1目盛の値の設定に問題がある
解
析
結
果
楽しい
興奮
驚き
緊張
悲しい
憂鬱
眠気
落ち着き
楽しい
31.7%
5.0%
0%
0%
0%
0%
3.3%
3.3%
興奮
5.0%
6.7%
1.7%
0%
0%
0%
1.7%
0%
驚き
0%
0%
3.3%
0%
0%
0%
0%
0%
緊張
1.7%
0%
0%
5.0%
0%
0%
0%
0%
悲しい
0%
0%
0%
0%
0%
0%
0%
0%
憂鬱
1.7%
1.7%
1.7%
0%
0%
6.7%
0%
0%
眠気
3.3%
1.7%
0%
0%
0%
0%
0%
1.7%
回
答
結
果
20
考察
• 正常値及び目盛りの設定
– より長い時間観測することで精度が上がる
• 計測した時間と気分の変化
– 研究成果発表会において，気分が急激に変化した
– 15分間では生体情報が変化しきれていない
• 気分別の精度
楽しい 興奮
精度(%)
73.1
44.4
驚き
緊張 悲しい 憂鬱 眠気 落ち着き
100.0
75.0
0(100)
57.1
0
87.5
– 研究成果発表会において，極度の疲労状態であったことが影響し
ている
• アンケートによる影響
• ウェアラブル生体情報センサ
– センサデータの精度に問題がある
– 他の生体情報センサと併用
21
研究の流れ
雰囲気の有用性
循環モデル
雰囲気は「場に存在する
気分の集合」である
予備調査・定義
定義の妥当性評価
気分の解析
ウェアラブル生体情報セ
ンサを利用
8つに気分を分類
精度の評価
気分が解析できれば，
雰囲気のデジタル化が
実現可能
雰囲気のデジタル化
雰囲気の特性から要件を
整理
8次元空間によるデジタ
ル化
22
雰囲気の特性
• 気分との相違点
– 気分：必ず一方向のベクトルによって表現される
• 楽しくて悲しい気分は存在しない
– 雰囲気：複数の要素が混在しうる
• 楽しい雰囲気と悲しい雰囲気が混在
• 雰囲気に影響を与えない気分
– 個人的な悩みや状況によって抱かれる気分
– 外れ値を考慮したデジタル化
• 曖昧な存在
– 人々によって感じ方は異なる
• 実験結果から，雰囲気の割合が一致する回答はない
– 平均値では多くの情報が欠如することになり適切ではない
23
デジタル化における機能要件
• 8次元空間による表現
– 雰囲気を一次元で表すことはできない
– 8次元空間ベクトル表現によるデジタル化
• 外れ値の除去
– 個人的な気分を同等に扱うべきではない
• 雰囲気データにゆとりを持たせること
– 8次元空間中の1点だけを雰囲気データとすべきでは
ない
– 場の利用者の感じている雰囲気の分布から範囲を設
定する
24
8つの気分の強さを算出
• 生体情報から気分の強さを取得
– ex) (α,β)の位置にマッピングされた
楽しいという気分に近い
場合，興奮と
• 楽しい気分の強さ…
• 興奮気分の強さ
– 気分を表すベクトルの大きさと角度を算出
– 三角関数を用いて強さを算出
気分の解析例
25
気分データの重みづけ
• 気分データの重みづけ
– Ex) 楽しい気分 10人，悲しい気分 1人
– それぞれの気分を感じた人数から重みづけを行う
26
雰囲気データの範囲の設定
• 各データの平均値μと標準偏差σを算出
– 標準偏差がデータの範囲となる
• 8次元空間による雰囲気のデジタル化
27
雰囲気データの利用
• アプリケーション例
– “空気の読める”ケータイ
• 自動的にマナーモードに
– 雰囲気の変化からアンビエントに情報を伝達
• Ex) ミーティングの終了を促す
– ユーザがいる場に近い雰囲気の場所をレコメンド
• 8次元空間上の雰囲気の距離からクラスタリング
• 雰囲気の可視化例
– 色彩心理を利用
色彩心理学
雰囲気の可視化例
28
本研究の成果
• 雰囲気の定義
– 雰囲気は「場に存在する気分の集合」である
– 雰囲気，気分，行動が循環する場において妥当性が高い
• 気分を取得できれば，雰囲気をデジタル化可能である
• ウェアラブル生体情報センサを利用した気分の解析
– 気分の判別モデル
• 心拍数及び皮膚温度を利用
• 気分を8つに分類する
– 80%の精度で4つに, 65%の精度で8つに分類可能
• 雰囲気の特性に則したデジタル化手法
– 8次元空間によるデジタル化
– 外れ値の除去
– 範囲を設定
29
今後の課題
• 雰囲気のモデル化
– 何に強く影響を受け，構成されるか
– モデルの検証，実験
• 日常的な気分の解析
– 他の生体情報と併用
– カメラ，音声による解析手法を統括するシステム
• 雰囲気のデジタル化の妥当性評価
– ウェアラブル生体情報を利用した雰囲気のデジタル
化までは至らなかった
• 複数の場で実験し，デジタル化手法の検証
30
学外発表
• 本研究の成果物
– MOLMOD: Analysis of Feelings based on Vital Information for Mood
Acquisition
• MobileHCI ‘09 Measuring Mobile Emotions, 2009
– MOLMOD: 生体情報を用いた雰囲気を取得する手法の構築
• 電子情報通信学会ユビキタスセンサネットワーク研究会, 2009
– 生体情報を用いた雰囲気を取得する手法の構築
• 情報処理学会 全国大会, 2009
• 学生奨励賞受賞
– MOLMOD: Mood Labeling and Modelling based on Vital Data
• Asian Workshop on Ubiquitous and Embedded Computing, 2008
– momo!: バイタルセンサを用いた気分の解析と雰囲気の可視化
• 情報処理学会ユビキタスコンピューティングシステム, 2007
• 御清聴ありがとうございました
31