Transcript Catherine Middag

De DIA tool
Catherine Middag
Ehealth4com symposium
3/10/2013
2
Woord vooraf
• DIA staat voor Dutch Intelligibilty Assesment
• DIA tool is nog geen eHealth tool …
• Het is dus (voorlopig) een evaluatietool waarmee
je spraakverstaanbaarheid kan bepalen
(zowel perceptueel als automatisch)
3
Spraakverstaanbaarheid
• Spraakverstaanbaarheid is een belangrijke indicator van de ernst
van een spraakpathologie:
▫ hoe goed kan de pathologische spraak - enkel audio, geen gebaren en context
– worden gedecodeerd?
• Klinische praktijk = perceptuele beoordeling
• Perceptuele beoordeling is saai en wordt beïnvloed door:
▫ Voorspelbaarheid van de test items
 Testmateriaal ontwerpen om dit te minimaliseren
▫ Vertrouwdheid luisteraar met spreker
 Steeds met nieuwe luisteraars werken
▫ Vertrouwdheid luisteraar met pathologie
 Luisteraars met verschillende achtergronden vragen
• Kunnen we de computer inschakelen als alternatieve en
objectieve luisteraar?
4
Spraakverstaanbaarheid
• De computer als alternatief
▫ Computer is per definitie consistent
▫ Maar is hij ook accuraat?
▫ Test case : automatisatie van het Nederlandstalig
spraakverstaanbaarheidsonderzoek (NSVO of DIA
(Eng.)) dat werd uitgewerkt door UZA
5
Perceptuele DIA test
top
1. dop
2. nuis
3.
• Per patient: 50 monosyllabische (nonsens)woorden
• Korte woorden, nonsenswoorden geringe voorspelbaarheid
6
Perceptuele DIA test
top
1. dop
2. nuis
3.
• Per patient: 50 monosyllabische (nonsens)woorden
• Korte woorden, nonsenswoorden geringe voorspelbaarheid
• Per woord: test van 1 foneem
• Verstaanbaarheidsscore = percentage correct geïdentificeerde fonemen
7
Automatische DIA test met spraakherkenner
top
1. dop
2. nuis
3.
Woordenlijst:
• bop
• dop
•…
• top
•…
• zop
• Automatische spraakherkenner krijgt dezelfde keuzes als luisteraar voorheen
• Verstaanbaarheidsscore = percentage correct geïdentificeerde woorden
8
Automatische DIA test met spraakoplijner
top
1. dop
2. nuis
3.
#
#d d
O
#p
p
• Spraakoplijner kent doelwoord en lijnt signaal op met transcriptie ervan:
•Elk foneem van het doelwoord krijgt een stukje spraaksignaal toegewezen
• Verstaanbaarheid: hoe goed zijn foneemuitspraken gemiddeld? (2 stappen)
9
Stap 1: sprekerkenmerken afleiden
#
#d d
O
#p
p
#
n
y+
s
0.7
0.60.3 0.9
0.7
0.8
0.6
0.4
0.9
0.6
Set 1: fonemische kenmerken
• Elk segment krijgt een score tussen 0 en 1 die aangeeft hoe goed het
segment beoordeeld wordt door een model van het corresponderend
foneem (modellen getraind op normale spraak)
• Per foneem: gemiddelde score over alle segmenten (van de verschillende
sprekeruitingen) die aan dat foneem zijn toegekend
• Voorbeeld: /#/=(0.7+0.6)/2=0.65,
/d/=0.3
etc.
10
Stap 1: sprekerkenmerken afleiden
#
#d d O
#p
p
#
n
y+
s
back
0.5
0.4 0.6 0.9
0.3
0.2
0.4
0.2
0.1
0.2
back: 0.9
voiced
0.1
0.3 0.1 0.9
0.1
0.2
0.1
0.7
0.8
0.3
voiced: 0.6
Set 2: positieve fonologische kenmerken
• Elk segment krijgt verschillende scores die aangeven hoe sterk
verschillende fonologische kenmerken (b.v. achteraan, stemhebbend,
nasaal, …) aanwezig zijn (volgens modellen getraind op normale spraak)
• Per fonologisch kenmerk: gemiddelde score over alle segmenten (van de
verschillende sprekeruitingen) waarin kenmerk zou moeten aanwezig zijn.
11
Stap 1: sprekerkenmerken afleiden
#
#d d O
#p
p
#
n
y+
s
back
0.5
0.4 0.6 0.9
0.3
0.2
0.4
0.2
0.1
0.2
back: 0.3
voiced
0.1
0.3 0.1 0.9
0.1
0.2
0.1
0.7
0.8
0.3
voiced: 0.2
Set 3: negatieve fonologische kenmerken
• Elk segment krijgt scores die aangeven hoe sterk verschillende
fonologische kenmerken aanwezig zijn (volgens modellen getraind op
normale spraak)
• Per fonologisch kenmerk: gemiddeld score over de segmenten (van de
verschillende sprekeruitingen) waarin kenmerk zou moeten afwezig zijn.
12
Stap 2: verstaanbaarheidsscore afleiden
top
1. dop
2. nuis
3.
hoe??
• Regressiemodel inclusief automatische selectie van
beste kenmerken
• Trainen van model op kenmerken van pathologische
sprekers met gekende verstaanbaarheid
• verstaanbaarheid uit ASR
• fonemische kenmerken
• fonologische kenmerken
verstaanbaarheidsscore
13
Betrouwbaarheid van automatische score
▫ Mijn onderzoek (SPACE-project):
 Correlatie tussen automatische en perceptuele score
vergelijkbaar met correlatie tussen scores van verschillende
beoordelaars
▫ Afstudeerwerk studente logopedie (UZA):
 Klinische setting  suboptimale opnamecondities
 Perceptuele score = gemiddelde van 2 luisteraars
 Correlatie tussen automatische en perceptuele score
vergelijkbaar met correlatie tussen scores van 2 luisteraars
• Beide tests bewijzen betrouwbaarheid van de DIA tool
14
Wil je zelf de tool eens uitproberen?
• Gratis beschikbaar: http://diaweb.elis.ugent.be
• Enkel laptop, headset, internet en Java (gratis) nodig!
15
Online versie van de tool
• Registreren is kosteloos, maar nodig om goede
afspraken te maken. Overeenkomst (A4-tje) vermeldt:
▫ Therapeut mag tool gratis gebruiken
▫ Onderzoekers mogen opnames gebruiken voor verder
onderzoek, maar:
 zonder kennis van persoonlijke gegevens over patiënt/
therapeut (enkel leeftijd + gender + pathologie patiënt)
 Zonder het recht om opnames te laten horen in het
openbaar (enkel korte fragmenten op seminaries etc.)
▫ Therapeut moet akkoord vragen (en krijgen) van patiënt
• Account voor 24 uur krijg je zonder overeenkomst
16
Online versie van de tool
• Een korte kennismaking
17
Discussie en vooruitzichten
• Beperkingen van huidige tool
▫ Meet verstaanbaarheid op basis van losse
(nonsens)woorden  kans op leesfouten en scores
▫ Modellen getraind op Vlaamse spraak
• Vooruitzichten op korte termijn (begin 2014)
▫ Ook verstaanbaarheid meten op lopende spraak
▫ Ook modellen die getraind zijn op Nederlandse spraak
▫ Ook meten van stemkwaliteit, articulatie, accent en
spreeksnelheid
▫ Alles reeds getest (samenwerking met NKI-Amsterdam)
maar nog niet in tool opgenomen
▫ Check website!
18
Discussie en vooruitzichten
• Beperkingen van huidige tool
▫ Meet verstaanbaarheid op basis van losse
(nonsens)woorden  kans op leesfouten
▫ Modellen getraind op Vlaamse spraak
• Vooruitzichten op langere termijn (begin 2015)
▫
▫
▫
▫
Evolutie naar echte eHealth tool
Evolutie naar therapietool
Streven naar bredere en diepere analyse
Nieuw project ASISTO (Kom op tegen Kanker, NKI
Amsterdam, UZ Antwerpen, ELIS-Ugent)
 Brede validatie gepland (belangstellenden?)
19
Vragen?