Transcript 視覚障害者のための音声支援環境の開発

視覚障害者のためのタイピング練習ソフト
「打ち込み君」の改良
西本 卓也 荒木 雅弘 新美 康永
京都工芸繊維大学 工芸学部 電子情報工学科
1
背景


視覚障害者は推計30万人
そのうち点字が使えるのは10％
点字が普及しない理由
– 中途失明者には学ぶことが困難
– 点字になった情報しか得ることができない


音声でインターネットを使えれば
即時性のある情報の入手や社会参加が可能
しかし、視覚障害者でパソコン利用者はごく少数
2
視覚障害者向けのパソコン環境の現状


スクリーンリーダー（画面読み上げソフト）
MS-DOS（パソコン通信のみ）
– VDM100

Windows95/98（インターネット対応）
– 95Reader
– outSPOKEN
– PC-Talker
3
視覚障害者のパソコン環境例

OS: Windows95/98
 スクリーンリーダー： 95Ｒｅａｄｅｒ
 メーラー： ＷｉｎＢｉｆｆ
 ブラウザ： ホームページリーダー
4
視覚障害者が求めるもの



インターネットを使うためには
普及しているWindows環境を
音声リーダーで使いたい
視覚障害者のために特化した
「インターネット講座」での指導が必要
定期開催されていることが重要
5
視覚障害者のためのインターネット教室

99年5月より非営利団体のＳCＣＪが運営
 受講生は50人を超える
 他府県・遠方からの受講者も多い
 問題点：
全15回のレッスン中8回がキーボードの練習
キーボード練習
アプリケーションなどの練習
6
パソコン練習の流れの違い
晴眼者
パソコン練習
キーボード練習
視覚障害者
キーボード
練習
パソコン練習
7
音声ガイドによるキーボード練習の必要性
自宅で自分のペースで練習したい
 カリキュラムからキーボード練習を減らし
講座をより充実させたい

キーボード練習
キーボード練習ソフト
キーボード練習
アプリケーションなどの練習
充実！
アプリケーションなどの練習
8
ところが
「音声ガイドのみによるタイピング練習ソフト」
は存在しない
ＳＣＣＪと
京都工芸繊維大学による共同研究
「打ち込み君」の開発
9
当初の設計方針





視覚障害者が助けを必要とせず、自宅学習できる
音声化Ｗｉｎｄｏｗｓシステムを使いこなす前に
「はじめてのキーボード」としての専用機
OS環境はWindowsである必要はない
視覚障害者にとって使いやすいのは非GUI環境
Linux の利用
– OSとGUI機能が分離されていてインターネット対応
– AUI （Emacspeak）と共存しやすいシステム
10
「打ち込み君」の仕様
コンテンツ


目標：
キーの操作方法が
音声ガイドに従うだけで身につく
打ち込み君
（プログラム）
プログラムがコンテンツを読み込んで動く構成
– 講座での指導経験に基づいてコンテンツ作成
– 課題作成者の利便を考慮し、簡単な形式で記述可能に



合成音声によって押すキーを指示
押されたキーを読み上げ、正解、不正解の効果音
正解、不正解回数と応答時間などのログを記録
11
課題テキスト例















G: 合成音声で読み上げ
g まず、左手から始めましょう。
g 左手の人差し指でキーを押してＦを探して下さい。
g Ｆの位置は下から３列目のひだりはしから５つ目でキーにとっきが
付いています。
T: キーを指定して入力待ち
tf
g そのキーです。
g 次の説明が始まるまで、確認のため練習して下さい
d 12
D: 任意のキーを指定回数だけ入力待ち
#
p gyoku-half1
g あっ、玉雲斎先生
P: 録音済み音声を再生
p gyoku-half2
g わーいパチパチ
p gyoku-half-bgm
g すばらしい音色ですね先生、心に染み入るようです。
g 練習を再開します
12
タイピング入門機に求められるもの


自宅で自分のペースで
演出がないとやる気が続かない
リアルな効果音によるジョーク
 先生・生徒・「打ち込み君」による楽しいレッスン

– 音声合成「打ち込み君」
– 声優による先生「玉雲斎」「京奴はん」など
13
視覚障害者にとってわかりやすいキー
キートップに
突起がある
位置が
説明しやすい
ＦとＪで選択
Escapeで決定
14
システムの運用


SCCJの「視覚障害者のためのインターネット講座」
において本システムを運用
運用場所：
パソコンスクール（デジタルスクールNEO）
得られた意見を元にシステムを改良

周囲の騒音に応じてスピーカーまたはヘッドホンを使用

15
16
17
システムの評価

ねらい
– システムの有効性の検討
– 改良すべき点を明らかにする

評価対象
– 教習用コンテンツ
– キー入力技能の評価用課題
• 課題１：ホームポジションキー
• 課題２：A～Zのアルファベットと記号

評価項目
– 正解率 / 平均応答時間
18
被験者のプロフィール
記号
A
B
C
D
E
F
性別
女性
女性
女性
女性
男性
女性
年齢
３０代
５０代
６０代
３０代
３０代
５０代
ＰＣ利用経験
過去にあり
現在利用中
なし
なし
視力
なし
なし
あり
なし
６点入力のみあり なし
音声で３ヶ月 なし
19
正解率の検討（１）

評価用課題においてはほぼ全員、
試行を重ねるごとに正解率が向上

本カリキュラムの有効性が確認された
20
正解率の検討（２）

正解率が低い例
– システムに非協力的（被験者C）
– ガイドの内容が頭に入らない（被験者B）
• 課題が長い場合に途中で忘れてしまう
– ガイド音声が聞きにくい（被験者B,F）
• 特にアルファベットの区別が困難 (ebd,sf)
• 高齢者には合成音声は聞き取りにくい？
21
応答時間の検討

ガイドを聞き取れて従えていた被験者は
ほぼ一定速度で操作できていた

応答を遅れさせる要因
– 正解率が上がると応答時間が長くなる傾向
• 理解が深まる→正しく操作しようと努力する？
22
応答性の改善
いつでもキーエコーを返すように
 自由な割り込み操作を可能に
 最後まで聞かなくても操作可能に


音声応答／音声対話システムが
ユーザに支持されるための要件と同じ
– 発話権交代の問題 など
23
シナリオの記述例
p opening
g まず、左手から始めましょう。
音声出力中の
割り込み操作に
どう対応すべきか
記述が曖昧
g 左手の人差し指でキーを押してＦ、フロリダのＦを探して下さい。
g Ｆの位置は下から３列目にあります。
g 下から３列目のひだりはしから５つ目です。
g キーにとっきが付いているのがＦです。Ｆを押してみてください。
tf
g そのキーです。もう１度押して下さい。
tf
24
ＶｏｉｃｅＸＭＬによる記述
<block>
<prompt bargein="false"> <audio src="opening.wav"/> </prompt>
</block>
割り込み可否を属性として記述する
<form>
プロンプトと入力の対応が明確
<field>
<prompt bargein="true">
まず、左手から始めましょう。 左手の人差し指でキーを押してＦ、フロリダ
のＦを探して下さい。 Ｆの位置は下から３列目にあります。下から３列目の左
端から５つ目です。キーに突起が付いているのがＦです。Ｆを押してみてくださ
い。
</prompt>
将来バージョンでの対応を検討
<dtmf> f </dtmf>
</field>
………
25
眺望感の不足への対処

次にやるべき操作がわからなくなる
– 操作ミスが続いたとき
– 入力待ちの状態で放置されたとき

必要に応じて指示を出しなおすべき
シナリオの早送り・巻き戻し機能も必要

弱視者を考慮して、画面表示もあってよい

26
聞き取りやすさへの配慮

話速に対するニーズはさまざま
– 同じ速度を速いと感じる人も、遅いと感じる人も

キーエコーの工夫
A 「エー アメリカ」
B 「ビー ブラジル」
短い合成音声の聞き取りにくさを回避
27
打ち込み君Windows版の開発


3月にLinux版を発表
少しづつ告知が浸透し、100本を超える電話
– 大きなニーズがあることを確認

Windows版を求める声が圧倒的
→ Windows版を優先して開発することに
– 開発環境
Visual Basic 6.0 / SAPI 4.0
SAPI対応エンジン: IBM ProTalker etc.
28
開発体制


Linux的なモデルへ
オープンソース「打ち込み君」
– 京都工芸繊維大学が中心 ソフトウェアの開発と改良
– インターネットでソース公開

配布とサポートをNPOに依頼
– 音声合成エンジン
– 音楽・ナレーション（フリーでない部分）

サードパーティによるコンテンツにも期待
29
モジュール構成
有償パッケージ CD-ROM
商用のコンテンツ
商用の音声合成
フリーの音声合成
打ち込み君（プログラム）
フリーソフト
フリーのコンテンツ
30
まとめ
音声によるタイピング練習ソフトの開発
 内容を容易に作成、改良できる仕様
 Linux版の開発と評価

– 有効性を確認

改良すべき点の検討
– 音声対話システムとしての観点 など

現在はWindows版の開発中
31
今後の課題
システムおよびシナリオの充実
 評価方法の検討


音声対話研究の知見を活かした改良
– 音声認識の併用
– 擬人化音声対話エージェント(IPA)の応用
音声認識・音声合成・顔画像表示を含むフリーソフトの開発
（2000年より3年間）
– VoiceXMLベースの対話制御
32
33
視覚障害者がＧＵＩを使う上での問題点

空間把握を強いられる
– 仮想的な複数窓の概念
– 窓の状態によって画面上の情報が変化する
34
関連研究




ＧＵＩ情報を立体音響で表現する
ＯＳのアクセスビリティ・ガイドライン
アプリケーションのバリアフリー化
Ｅｍａｃｓｐｅａｋ
– ＧＵＩとは独立した Ａｕｄｉｔｏｒｙ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ
– 日本語対応（BEP）
– Linux/Windows対応（ＢＥＰ）
35
システムの設計方針（2）

中古パソコンを用いたPCリデュース
– Ｌｉｎｕｘはカスタマイズが容易
→ 中古パソコンでも比較的快適
– パソコン導入前の練習機として安価に提供できる
– 省資源化、廃棄物の抑制
36