Transcript Modaliteit in spontane en geacteerde spraak

Modaliteit in spontane en
geacteerde spraak
Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo
Deuzeman, Nynke Broersma, Judith Meijer, Marleen
Broekema, Jan-Maarten Bomhof, Jenne Klimp, Noreen
Dijkmeijer, Ria Visscher, Trudy Krajenbrink, Judith Reedeker,
Klarien Haan & Dicky Gilbers
m.m.v. Maartje Schreuder & Laura Van Eerten
Rijksuniversiteit Groningen
Utrecht, Dag van de Fonetiek, 18 december 2008
1
Overzicht
• Pilot-onderzoek (Schreuder, Van Eerten & Gilbers, 2006)
• Modaliteit in spontane spraak
– Voetbaltrainers
– Olympische sporters
• Modaliteit in geacteerde spraak
– Bert & Ernie
– Soapseries: GTST & Pleidooi
– Motherese/Parentese (geacteerd?)
• Methodologische problemen
2
Onvolledige literatuurlijst
emotionele spraak
• Bezooijen, R. van (1984) Characteristics and recognizability of vocal
expressions of emotion
• Scherer, K.R. (2003) Vocal Communication of emotion: review of
research paradigms
• Yildirim, S. et al (2004) An acoustic study of emotions expressed in
speech
• Schröder, M. (2004) Speech and emotion research
• Erickson, D. et al (2006) Exploratory study of some acoustic and
articulatory characteristics of sad speech
• Cheang, H.S. & M.D. Pell (2008) The sound of sarcasm
• Vrolijke spraak in vgl. met sombere spraak: hogere pitch, grotere pitch
range (eigenschappen van hyperarticulatie)
3
Schreuder Van Eerten & Gilbers (2006)
Cook Fujisawa & Takami (2004)
• Onderzoek naar modaliteit in spraak
4
Emotionele intonatie
Experiment majeur/mineur:
• Vrolijke en verdrietige muziek:
– Majeur: grote terts (4 semitonen: C – E)
– Mineur: kleine terts (3 semitonen: C – Es)
• Ook majeur en mineur in emotionele spraak?
5
Emotionele intonatie
Methode:
• 5 schoolmeesters/-juffen 4 verhaaltjes laten voorlezen
van Teigetje en Iejoor (Winnie de Poeh)
– Teigetje: vrolijk
– Iejoor: somber
• Syllabedetectie (Praatscript: Nivka de Jong)
• Pitch vaststellen per syllabe (Praatscript Norman Cook)
• Clusteranalyse intonatiecontour (F0)
• Muziekpartituren
6
Emotionele intonatie
Semitonen: Teigetje 2 x grote terts
Majeur!
Gis
C
E
7
Emotionele intonatie
Semitonen: Iejoor kleine terts
Mineur!
F
Gis
8
Emotionele intonatie
• Omgezet naar MIDI (muziekformaat) met piano
• Originele spraak en pianomelodie samengevoegd
spraak
piano
(Fragment van Iejoor, andere spreker)
9
Gb - A
Partituren
F - Ab
G# - E
C# - A
De partituren van spraakfragmenten
incorporeren tijd als een factor in de
volgorde van de tonen (niet het geval
in de clusteranalyses)
10
Resultaten
• Veel Teigetje-fragmenten vertonen grotere intervallen dan tertsen,
terwijl veel Iejoor-fragmenten slechts één piek laten zien. In
dergelijke passages kan niet worden vastgesteld of we met
mineur of met majeur te maken hebben.
• De majeurmodaliteit is alleen aangetroffen in fragmenten van
Teigetje met tertsen, terwijl de mineurmodaliteit alleen voorkomt in
fragmenten van Iejoor met tertsen.
• Ook al komen tertsen slechts in een minderheid van het materiaal
voor, er zijn geen tegenvoorbeelden in de fragmenten met tertsen
aangetroffen.
11
Conclusie Pilot-onderzoek
• In dit pilot-onderzoek heeft de meeste spraak een
neutrale modaliteit.
• Desalniettemin: er is een tendens dat een somber
gemoed in spraak wordt uitgedrukt met kleine tertsen.
• Als tertsen worden gebruikt in vrolijke spraak, dan zijn
het grote tertsen.
maar: weinig data
12
Mark Liberman
http://itre.cis.upenn.edu/~myl/languagelog/archives/003651.html
Janis Joplin
Mercedes Benz
Emotionele toespraken (voorgelezen?)
korte fragmenten (ivm modulaties)
conclusie: modaliteit (hier: meerdere frequentiepieken)
13
1
Winnaars en Verliezers in de Sport
Is er ook modaliteit te ontdekken in spontane spraak?
Methode:
bekervoetbalinterviews vlak na de wedstrijd (knock-outsysteem)
verliezers
winnaars
data aangevuld met fragmenten van winnaars en verliezers
bij de Olympische Spelen
14
Materialen
• Winnaars:
– 18 voetballers/trainers
– 20 olympische sporters
• Verliezers:
– 20 voetballers/trainers
– 16 olympische sporters
15
Resultaten
• Winnaars
– Voetballers: 5 x modaliteit (27%); 1 x majeur
– Olympisch: 11 x modaliteit (55%); 4 x mineur
• Verliezers
– Voetballers: geen modaliteit
– Olympisch: 5 x modaliteit (31%); 1 x mineur
Significant verschil in modaliteit tussen V en O
16
Raw Data
Cluster
12
1
0, 9
10
0, 8
0, 7
8
0, 6
0, 5
6
0, 4
4
0, 3
0, 2
2
0, 1
#
G
F#
E
D
C
A#
#
G
F#
E
D
C
A#
#
G
F#
E
D
C
A#
#
G
F#
E
D
C
0
A#
G
#
0
17
Conclusie
• Weinig modaliteit in spontane spraak
• Niet altijd majeur bij vrolijk en mineur bij
somber
• Tegenvoorbeelden
18
Modaliteit hoofdzakelijk te vinden in
geacteerde spraak?
Is er meer modaliteit in geacteerde spraak dan in
spontane spraak?
Zo ja, dan is (het overmatig voorkomen van) modaliteit
misschien een aanwijzing voor overacting
19
2
Bert & Ernie
• Hypothese 1: bij zowel Bert als bij Ernie is modaliteit
waar te nemen
• Hypothese 2: bij Bert vooral mineurachtige
toonsafstanden en bij Ernie majeurachtige
toonsafstanden
• Materiaal: 30 fragmenten van zowel Bert als Ernie
– DVD ‘Het beste van Bert & Ernie’
– Diverse filmpjes van YouTube.com
20
Resultaten
• In elk fragment modaliteit
• Percentages toonafstanden:
Mineur
Bert
20%
Ernie
13%
Majeur
7%
27%
21
Resultaten
• Altijd modaliteit gevonden, in
overeenstemming met eerste hypothese
• Tweede hypothese: wel meer mineur
dan majeur bij Bert, en meer majeur
dan mineur bij Ernie, maar ook
tegenvoorbeelden
22
Discussie
• Wellicht is de emotie ‘chagrijnig/ zeurderig’ bij Bert iets anders
dan ‘verdrietig’ bij Iejoor
– De emoties boos en blij delen akoestische eigenschappen
(Yildirim et al, 2004)
boos/blij: eigenschappen van hyperarticulatie
o.a. hogere pitch; kortere pauzes tussen woorden; hoge
spreeksnelheid
droefheid/somber: afname pitch, kleine pitch range, lage
spreeksnelheid
– Verschil emoties van Bert & Ernie gering
23
3
Onderzoek Soaps
Kunnen we met modaliteit
overacting aantonen?
• Onderzoeksvraag
– Is er verschil in modaliteit tussen vrolijke en sombere
geacteerde spraak en is hierbij onderscheid te maken tussen
‘goed’ en ‘slecht’ geacteerde spraak?
• Hypothese
– Goed geacteerde spraak bevat minder mineur/majeurmodaliteit dan slecht geacteerde spraak
(ivm “natuurlijkheid” van de spraak)
24
Methode
• 60 fragmenten geanalyseerd op
(mineur/majeur) modaliteit
GTST (“slecht”)
Pleidooi (“goed”)
Vrolijk
16
8
Somber
20
16
Totaal
36
24
25
Resultaten
Somber
Aantal fragmenten
Pleidooi
GTST
Modaliteit
15
20
Mineur
5 (71%)
Majeur
Vrolijk
Aantal fragmenten
Pleidooi
GTST
Modaliteit
7
16
5 (71%)
Mineur
1 (33%)
2 (33%)
2 (29%)
2 (29%)
Majeur
2 (67%)
4 (67%)
Geen modaliteit
1
0
Geen modaliteit
1
0
Totaal
16
20
Totaal
8
16
• In bijna alle fragmenten sprake van modaliteit
• Iets meer modaliteit in “slecht” acteerwerk (?)
26
4
Modaliteit in Motherese
• Onderzoeksvraag:
– Is er een majeurmodaliteit te vinden in
motherese?
• Verwachting:
– In motherese wordt modaliteit gevonden,
relatief veel majeurmodaliteit en geen
mineurmodaliteit
27
Motherese
Patricia Kuhl et al
Vocalen in motherese-aanbod extremer
28
Resultaten
• Modaliteit:
– 125/126 samples = 99,2%
• Mineur:
– 43/126 samples = 34,1%
• Majeur:
– 25/126 samples = 19,8%
29
Resultaten
• Significant vaker modaliteit dan geen
modaliteit (p < .01)
• Significant vaker mineurmodaliteit dan
majeurmodaliteit (p < .01)
30
Algemene Conclusie
Modaliteit (meer frequentiepieken) is
kenmerkend voor geacteerde spraak
Geen sterke aanwijzingen voor mineur
(somber) en majeur (vrolijk) in
geacteerde spraak
31
Methodologische problemen
Veel vermeend vrolijke data klinken helemaal niet zo
vrolijk
Lengte fragmenten
Cluster Analyse geeft geen duidelijkheid over sequentie
tonen (vgl. C – Amin)
Sommige clusterhistogrammen voor meerdere uitleg
vatbaar
Vervolgonderzoek: 5-puntsschaal voor somber-vrolijk
32