Transcript ポスター PowerPoint 340KB

音声ウェブブラウザ VOXplorerの評価
西本卓也 藤澤正樹 新美康永
京都工芸繊維大学 工芸学部 電子情報工学科
発表内容：
・確認応答モードの違いによる操作感の違い
・音声の有無による没入感・楽しさの違い
音声ウェブブラウザの概要
• 目的： 楽しさ・快適さ
– タスクの達成しやすさを増す
– ぎこちなさの排除
– 処理時間の長い機能を排除
• 仕様の検討
– 直接操作：システムを実装・評価
– 対話的支援：模擬対話等から検討
音声認識レベルメータ（ドキュメントトーカOCX）
２種類の確認応答モデル
確認応答あり
ユーザ発話：
リンク要求
リンク名
システム発話：
確認
リンク名
ユーザ発話：
確認
はい/そうです
確認応答なし
ユーザ発話：
リンク要求
リンク名
システム発話： システム発話：
応答
受付開始
了解
どうぞ
ページ更新
システム発話：
応答
リンク名
システム発話：
受付開始
どうぞ
ユーザの対話例
確認応答あり
ユーザ ：
図書館
システム：
図書館？
そうです
はい
了解
＜ページ移動＞
戻る
戻る？
そうです
了解
＜ページ移動＞
確認応答なし
ユーザ ：
システム：
もっと下
＜下スクロール＞
地域情報
地域情報
＜ページ移動＞
都道府県
都道府県
＜ページ移動＞
京都
京都
＜ページ移動＞
確認応答の比較評価
•
•
•
•
タスク： Yahoo JAPANからリンクをたどり、指示されたページを発見する
被験者： ５名
実験回数： 確認応答あり・なし 各3-4回
1対話の平均所要時間
－ ５～１０ 分
• 処理速度：画面更新
－平均 約8秒
ページ移動発話数 ＝
タスク達成発話数 ＝
認識率 ＝
リンク項目発話数
総ページ
リンク項目発話数
総ページ － 誤認識による移動ページ数
認識発話数
認識発話数＋誤認識発話数＋棄却発話数
ページ移動発話数の比較
4
3.44
3.5
発話数 [回]
3
3.18 3.18
2.70
3.02
2.79
2.5
2
1.57
1.47
1.5
1.28
1
1.07 1.00
1.27
0.5
0
確認応答あり
確認応答なし
１ページ移動毎に必要な発話数
「確認応答なし」システムが効率的
被験者１
被験者２
被験者３
被験者４
被験者５
平均
1) 確認応答あり
5.0
ページ移動および
タスク達成に要した
発話数と認識率
ページ移動効率
タスク達成効率
4.0
3.0
2.0
1.0
0.0
0.4
0.5
0.6
0.7
0.8
0.9
1.0
認識率
2) 確認応答なし
5.0
ページ移動効率
タスク達成効率
4.0
3.0
2.0
1.0
0.0
0.4
0.5
0.6
0.7
認識率
0.8
0.9
1.0
アンケート結果
効率が良かったか
どうか
簡単かどうか
わかりやすいか
どうか
楽しかったかどうか
確
認
応
答
な
し
集中できるかどうか
被験者５
被験者４
被験者3
り
被験者2
確
認
応
答
あ
被験者１
0
1
2
3
4
低 ← 評価 → 高
5 0
1
2
3
4
低 ← 評価 → 高
50
1
2
3
4
低 ← 評価 → 高
5 0
1
2
3
4
低 ← 評価 → 高
5 0
1
2
3
4
低 ← 評価 → 高
• 確認応答を行うシステムは、集中しやすい、効率的、楽しい
• 誤認識で他ページに移動するリスクを負うより、頻繁に確認を行いたい？
• 誤認識が極めて少ないユーザは、確認応答なしのシステムを好む。
5
楽しさの評価
• 最適体験＝ flow 体験（Csikszentmihalyi）
• 挑戦と技能が均衡した状態
• 没入感
• 内在的楽しさ
• 時間を忘れてのめりこむ
• 興味が対象に集中する
• Hoffman&Novak, Chenら
• ウェブは flow を起こしやすい
メディアであることを指摘
high
挑
戦
不安
フロー
無気力
倦怠
技能
• 音声は flow に貢献するか？
high
音声による楽しさの評価実験
• 被験者5人に音声認識を使ったゲームで遊んでもらい、
孤立単語認識に慣れてもらう （約４０分）
最高認識率 57%, 73%, 100%, 100%, 91%
• VOXplorerを使って、特に目的を定めずに
ネットサーフィンをさせる。（約1時間）
半分の時間はマイクをオフ（既存ブラウザとほぼ同等）
• 約5分（ランダム）な周期で
ネットサーフィンを中断させ、
その時点での被験者の体験を質問する
ESM : Experience Sampling Method
※ 「どちらでもない」を５として、０から１０までのどれかに○をしてください。
質問
●　いま画面の内容に意識のすべてを集中していましたか？
まったく
集中していない
• ４-６分間隔
（ランダム）
• 音声あり、なし
各５回
計１０回×５人
0
1
2
3
4
5
6
7
8
9
10
非常に
集中していた
●　いま自分が何をやろうとしていたか、はっきり決めていましたか？
まったく
決めていなかった
0
1
2
3
4
5
6
7
8
9
10
非常に
はっきり決めていた
5
6
7
8
9
10
非常に
速く感じた
8
9
10
非常に面白い・
興味深いと感じた
9
10
非常に
強く挑戦を感じた
●　いま時間の流れについてどう感じていましたか？
非常に
ゆっくりに感じた
0
1
2
3
4
●　いま画面の内容が面白い、または興味深いと感じていましたか？
まったく興味を
感じていなかった
0
1
2
3
4
5
6
7
●　いま画面の内容が、自分になにか挑戦していると感じていましたか？
まったく
挑戦を感じなかった
0
1
2
3
4
5
6
7
8
●　いま画面の内容を操作するために、自分の持つ技能が充分だと感じていましたか？
まったく
不充分だと感じた
0
1
2
3
4
5
6
7
8
9
10
完全に
充分だと感じた
フロー回数の判定
挑戦と技能の均衡で判断
挑戦と技能の差 <= 2
挑戦 >= 3
技能 >= 3
の条件で、
• 音声あり：８回
音声なし：６回
回数
•
•
•
•
挑戦と技能の差
7
6
5
4
3
2
1
0
音声あり
音声なし
-6 -5 -4 -3 -2 -1 0
1
2
3
（挑戦－技能）
• フローの起きやすさ ： 音声なしと同等または増加
• 音声の使用により挑戦のレベルが上がる
操作しやすくなることが、必ずしも最適体験ではない
• しかし本当に、集中や楽しさをもたらしているか？
4
5
6
集中や興味への音声入力の貢献
被験者のアンケート回答（最高10, 平均）
音声あり 音声なし
意識集中
8.1
7.3
行動の自覚
6.8
5.4
時間の流れ
6.0
6.2
対象への興味
7.2
6.2
• 音声入力を用いることで、
ユーザの意識を対象に集中させ、
自分の取るべき行動をより自覚させ、
対象への興味を増すことができる
• 時間を忘れて没入させるためには、
応答速度や対話制御など、さらに改善が必要
まとめ
• 音声ウェブブラウザにおける確認応答モードの評価
– 誤認識による誤ったページ移動のリスクよりも
毎回確認を行うことを好む
• 音声利用による没入感・楽しさの評価
– 音声入力によりネットサーフィンの楽しさが増す
– 対象への興味や集中を高める
• 課題
– より多くの被験者による検証
– 被験者の個人差の検討
– システムの性能・頑健性の向上
• 英語や固有名詞の読み
• 複雑なプラグインやコンテンツ
– 対話制御の拡張・改善
音声ウェブブラウザ VOXplorerの評価
西本卓也 藤澤正樹 新美康永
京都工芸繊維大学 工芸学部 電子情報工学科
• 音声ウェブブラウザにおける確認応答モードの評価
• 特定のページを探すタスクによる実験
– 誤認識による誤ったページ移動のリスクよりも
毎回確認を行うことを好む
• 音声利用による没入感・楽しさの評価
• フロー体験モデル・ ESM による実験
ネットサーフィン中にランダムなタイミングでアンケートを行う
– 音声入力によりネットサーフィンの楽しさが増す
– 対象への興味や集中を高める
– 操作しやすさにつながらない場合でも、音声が最適体験に貢献できる