Transcript Document
会話の盛り上がりにおける 個人と場の関係性の分析 11/12 (水) ４回生 三宅 峰 要旨 個人の盛り上がりと会話場全体の盛り上がりの 関係性を分析する 個人の盛り上がりは全体の盛り上がりに流されて見 た目には反応は出にくいが生理指標では反応が出る はず 同一の場にいる人同士の盛り上がりの関係を分 析する 動きの盛り上がりや生理指標の盛り上がりに同調が 見られるはず 背景 あ研究 多人数、特に会話状態での盛り上がりの研究はあま りやられていない 会話場の盛り上がりを知ることで… エージェントが盛り上がりを認識できれば発話の内容 選択やタイミング調整などに役立つ 会話のポイントがわかりやすい 目標 個人の盛り上がりと会話場全体の盛り上がりの関係性 を分析する 目で見た盛り上がりの度合を「身体の動きの激しさ」で定める 同一の場にいる人同士の盛り上がりの関係を分析する 対面コミュニケーションでは報告があるのでそれを参考にした アプローチを取る 盛り上がりの反応は内部状態に起因するはず！ 内部状態は生理指標に表出する 生理指標なら表面的に現れないものも検出できる →盛り上がりのground truthとして生理指標を使う アプローチ 二つの目標が含まれる実験環境を用意する クイズエージェントを使って盛り上がりが起こる 状況を作り出す ビデオによる観察と生理指標（皮膚電気抵抗と 呼吸）による計測によって 個人の盛り上がりと場全体の盛り上がりの相関を分 析する 同一の場にいる個人間の動きと生理指標の相関を分 析する 予備実験 実験の目的 盛りあがっている状況でのビデオの撮影と生理指標の 計測を行う 実験の概要 クイズエージェントを使用 ビデオは被験者４人の正面からカメラ１台で撮影 被験者は同時に４人、うち２人の生理指標を測定 皮膚電気抵抗・呼吸 総時間80分、うち50分を使用 実験環境 ビデオカメラ 生理指標 画面上部から 撮影 皮膚電気抵抗： 左手に2箇所 呼吸：胸部にバ ンド1つ クイズエージェント 被験者正面に設置 計測されたデータ ビデオのデータ 生理指標 iCorpus Studioに読み込む 分析 目で見て盛り上がりを判定する ラベル付け 分析の方針 観測した時系列データを盛り上がり度の違いで分割し、 盛り上がり度に対応したラベルを付ける 盛り上がり度は「動きの激しさ」を見て判断 個人の盛り上がりと場全体の盛り上がり、それぞれに対してラ ベルを付ける 特定のラベルにおける生理指標をチェックする 皮膚電気抵抗の減少 傾きの変化を見る 呼吸の乱れ 呼気量には山谷があり、ピーク間の幅が連続で短くなって いるところを乱れとする 笑いを拾いやすいが、それも盛り上がりとして含める ラベルと生理指標の例 個人の盛り上がり 場の盛り上がり 皮膚電気抵抗 呼吸 皮膚電気抵抗減少 呼吸の乱れ 分析 2段階で個人の盛り上がりをラベル付け 全ラベルについて生理指標をチェック 生理「盛」 生理「非盛」 動き「盛」ラベル 77%(89コ) 23%(26コ) 動き「非盛」ラベル 29%(34コ) 71%(84コ) →動きの激しさによる見た目の盛り上がりの判定は妥当と いえる 分析 場の盛り上がりに引っ張られる個人の盛り上がり反応 は小さくなるはず 見た目の盛り上がりの感度を変えれば、どこかで動きか らも場に引っ張られた盛り上がりが検出される それはどれぐらいのレベルか？ ↓ 個人の盛り上がりを5段階にし、閾値を設定して全ラベ ルを「盛り上がりラベル」「非盛り上がりラベル」に分ける 生理指標からの盛り上がりを調べ、動きの盛り上がりと 一致するようなところを探す 分析 閾値4 動き「盛」ラベル 動き「非盛」ラベル 生理「盛」 96%(22コ) 76%(22コ) 生理「非盛」 4%(1コ) 24%(7コ) 閾値3 動き「盛」ラベル 動き「非盛」ラベル 生理「盛」 90%(62コ) 64%(47コ) 生理「非盛」 10%(7コ) 36%(27コ) 生理「盛」 生理「非盛」 75%(109コ) 25%(37コ) 30%(45コ) 70%(105コ) 閾値2 動き「盛」ラベル 動き「非盛」ラベル 検討 閾値を2に設定したときに動きからの盛り上がり と生理指標からの盛り上がりが最も一致した →閾値2のレベルなら、場に引っ張られる盛り上が りのような小さな盛り上がりでも動きから検出で きる 分析 「場全体は盛り上がっているが、個人は（見かけ上）盛り 上がっていない」ところでの生理指標を調べる 先ほど得られた閾値2でどうか？ 閾値を変えるとどうなるか？ 閾値 2 3 4 生理「盛」 18コ / 47コ 24コ / 33コ 10コ / 12コ 検討 閾値2で見ると、確かに動きの盛り上がりと生理 指標による盛り上がりが最も一致していた 人間の感覚では閾値3や4で盛り上がりを区別し ているが、実際の閾値はもっと小さい →場の盛り上がりを検出するにはそれが個人の盛 り上がりと一致しなければならないが、そのため には人間の感覚より細かい盛り上がりまで拾う 必要がある 分析 個人間の盛り上がりの同期を「動き(閾値2)」と「生理指 標」で調べた 「盛」の一致 「非盛」の一致 動き 49%(71コ / 144コ) 65%(98コ / 150コ) 生理指標 59%(85コ / 145コ) 70%(105コ / 150コ) 「場に流された盛り上がりがある」という内容に無理がな いと言える程度？ 分析 具体的には？ 呼吸の波形に一部一致が見られた 動作は笑いのほか、手振りに追随が見られた 今やっていること 「目で見て付けたラベル」の評価 評価の仕方？ 「盛り上がり」以外で生理指標からわかるもの 今のところイマイチ 盛り上がりと競合しないものがベター →集中？ 今後の予定 残りの分析 個人間の動きと生理指標の同期を分析する 他の人にビデオデータのラベル付けをしてもらう 本実験 分析環境の構築 Polymateで測定したデータをiCorpus Studioで 読み取れるようにした 呼吸の指標が「＝笑い」になっていないか？ 呼吸の反応が出た72ラベルのうち47ラベルで「笑い」 分析 動作と生理指標の反応のタイミングに関連があ るか調べた 呼吸と動作はほぼ一致 皮膚電気抵抗は遅れる傾向が目立った 表面的な動作→内面の変化？