Transcript PowerPoint

ライフログデータとしての笑顔の
蓄積システムの提案
wataru
環境情報学部 B2
親：hiroponさん，guroさん
1
概要
• 笑顔を検知し、新たなライフログデータとして
笑顔データを蓄積するシステムを提案する
2
背景
• 笑顔には良い効果が多々ある
– 健康によい
– ポジティブになれる
– 周囲をしあわせに
• 笑顔をつくることで人間は幸せになれる
3
笑顔の検知を活用した研究
• Happiness Counter
– 笑顔は人を幸せにするのか？笑顔促進支援システム
– Hitomi Tsujita, Jun Rekimoto, “HappinessCounter:Smile-Encouraging
Appliance to Increase Positive Mood”, ACM CHI2011, alt.chi.
• 笑顔認識させるゲーミフィケーションを利用
したシステムの提案
–
Hori, Yukari, et al. "Communication pedometer: a discussion of gamified communication
focused on frequency of smiles." Proceedings of the 4th Augmented Human International
Conference. ACM, 2013.
4
問題意識
• 笑顔を蓄積し他のライフログデータと組み合
わせて活用する研究が進んでいない
–
ライフログビデオから顔表情認識を用いて印象的なシーンを抽出
•
Nomiya, Hiroki, Atsushi Morikuni, and Teruhisa Hochin. "Impressive Scene Detection from
Lifelog Videos by Unsupervised Facial Expression Recognition."Software Engineering,
Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD), 2013 14th ACIS
International Conference on. IEEE, 2013.
– 人間の表情を活用するライフログ閲覧
•
Takai, Hiromu. "人間の表情を活用するライフログ閲覧." WISS2013, 2013.
5
目的
• 笑顔データとほかのライフログデータを組み
合わせたものを用いて活用する
6
活用例
• さまざまなライフログデータと笑顔データを組
み合わせることでデータにタグ付けをする
• 特定の行動における笑顔頻度を分析し，頻
度が低い場合に，笑顔をつくらせる
7
今回やること
• ライフログデータとして笑顔を蓄積
8
笑顔をとる方法
• PCによる笑顔検知
• スマートフォンによる笑顔検知
• Google Glassによる笑顔検知
9
本研究における手段
顔検出
笑顔判定
ライフログデータとして
記録・蓄積
10
笑顔検出
• 学習させた顔識別器により顔領域を抽出
11
笑顔判定
• 顔領域内で学習させた笑顔識別器により笑
顔検出を行う
• 連続したフレームで笑顔検出された場合にス
クリーンショットを撮影
– 1/4秒以内にもう一度検出された場合は連続され
た笑顔とみなす
12
記録
• 笑顔データとしてWeb画面スクリーンショット
をローカルフォルダに保存・蓄積
13
実装環境
•
•
•
•
PC：MacBookAir
カメラ：内蔵Webカメラ
使用言語：C++
ライブラリ：OpenCV
14
システム構成図
15
デモ
16
17
18
使ってもらった得た意見
• 笑顔検出はおおむねできていたと思うが、PC
との距離が遠いと笑顔が検出されていないと
きもあった
• システムを使用する場合に自分が笑顔かどう
か気になって、ついつい笑顔をつくってしまう
19
今後の展望
• 他のライフログデータと対応させることによる
活用
• 笑顔以外の表情の収集
• 収集したデータをデータベースに蓄積
• 評価をとる
– 笑顔検出精度の評価
– ユーザにとって有益なライフログデータを収集で
きたか
20
今回学習したこと
• OpenCVライブラリの使い方
• C++を使った実装力
• 笑顔検知の条件決定
– 実験のくりかえし
• 突然のPCクラッシュ
– メンタルの強さとしぶとさを学ぶ
21
まとめ
• ライフログデータとして笑顔を検知し蓄積する
システムを提案した
22