Transcript Beszéd és érzelem

Péter Pázmány Catholic University, Department of Information Technology
Beszéd és érzelem
Beszédfelismerés és szintézis
7. előadás 2014. március 13.
Bárdi Tamás előadása nyomán
Péter Pázmány Catholic University, Department of Information Technology
Czap László beszélőfej modellje
öröm
szomorúság
Péter Pázmány Catholic University, Department of Information Technology
Czap László beszélőfej modellje
meglepetés
harag
Péter Pázmány Catholic University, Department of Information Technology
Kommunikáció általában

Kommunikáció: üzenetváltások közös kód alapján
kódolás és dekódolás is történik

Verbális kommunikáció:
a kód előzetes megállapodással lett közössé
pl. nyelvek, siket jelnyelv, protokollok

Nem verbális kommunikáció:
van közös kód, de nem megegyezés eredménye
ilyen az érzelmi kommunikáció nagyobb részt
a közös alap általában biológialag örökölt
Péter Pázmány Catholic University, Department of Information Technology
A kommunikáció csatornái



Közvetlen emberi kommunikáció elmélete (Buda Béla):
- Verbális csatornák:
beszélt nyelv, egyezményes jelek
- Nem verbális csatornák:
vokális expresszió, tekintet, mimika, gesztusok,
távolság, emblémák
A hangzó beszéd egyaránt verbális és nem verbális
A beszéd nem verbális tartalma nagyrészt a
prozódiában jelenik meg
Péter Pázmány Catholic University, Department of Information Technology
Kódosztás a csatornák között

Brunswick lencséje:
Az érzelem felismerése lassabb és bizonytalanabb ha
csökkentjük az elérhető nem-verbális csatornák számát
Péter Pázmány Catholic University, Department of Information Technology
Metakommunikáció





Kommunikáció a kommunikációról
Az emberi közlésfolyamat mindig kétszintű:
egy akaratlagos és egy spontán, amely „minősíti” a
direkt tartalmat, érzelmi viszonyulást fejez ki
Nem tudunk „nem kommunikálni”
Az indirekt – akarattól független – kommunikáció mindig
őszinte
Analóg – digitális párhuzam
Péter Pázmány Catholic University, Department of Information Technology
Antonio Damasio elmélete





különbségtételt tesz érzelmek (angolul emotion) és
érzések (angolul feeling) között
Az érzés e változások észlelése
Az érzés lényege: "folytonos monitorozási folyamat",
Damasio szerint az érzelmek fontos szerepet játszanak
az emberi szervezet biológiai szabályozó
működéseinek rendszerében, a homeosztázisban.
az érzelem és érzés a biológiai szabályozás központi
mozzanatai, ezek hidat alkotnak a racionális és nemracionális folyamatok között, a kérgi és kéregalatti
struktúrák között
Péter Pázmány Catholic University, Department of Information Technology
Emóciók



Homeosztázis: a biológiai szervezeteknek van egy
egyensúlyi állapota, ha megbomlik igyekeznek
helyreállítani
Az emóciók az egyensúlyi célállapotot változtatják meg,
hogy a szervezetet a túlélés szempontjából „optimális”
állapotba kerüljön
Az emócióknak erős hatása van a vegetatív
idegrendszer működésére, ezen keresztül számos
betegséget okozhat a nem megfelelő érzelmi élet
Péter Pázmány Catholic University, Department of Information Technology
Szomatikus markerek





Az érzelmi állapotokhoz jellemző testi mintázatok
tartoznak.
Az elsődleges érzelmek a "korai életben átélt érzelmek„,
ezeknek alapja a személyes élettörténet perspektívája.
A másodlagos érzelmek pedig a "felnőtt" érzelmek,
amelyek a tárgyak és helyzetek osztályainak, valamint
az elsődleges érzelmek összekapcsolásán alapulnak.
Elsődleges érzelmek: kialakításukban döntően kéreg
alatti területek vesznek részt, bizonyos szenzoros input
mintázatok esetén automatikusan váltódnak ki.
Másodlagos érzelmek: kialakításukban a prefrontális
kéreg is részt vesz, kiváltódásuk mentális képek
közbeiktatásával történik
Péter Pázmány Catholic University, Department of Information Technology
Féltekei asszimetriák




A beszédképzés és megértés nagyrészt bal féltekés
A beszéddallam feldolgozása inkább jobb féltekés
Pell: jobb és bal féltekés sérült betegeket vizsgált.
Eredményei alapján az érzelmi prozódia inkább jobb
féltekés, a grammatikai inkább balféltekés
Damasio: a jobb féltekei prefrontális kéreg döntő a
másodlagos érzelmek kialakításában.
Péter Pázmány Catholic University, Department of Information Technology
Emotional expressions



Darwin (1872): az emlős állatok az emberhez
hasonlóan fejezik ki érzelmeiket (közös származás)
Emóciók szerepe: belső biológiai szabályozás, és a
külső megfigyelő befolyásolása (kommunikatív)
Ohala: leakage theory: Often, communication is
ambivalent: people communicate one thing verbally and
the opposite non-verbally. Leakage refers to
communicative incidents in which nonverbal signals
betray the true content of contradictory verbal
messages.
Péter Pázmány Catholic University, Department of Information Technology
Alapérzelmek

Diszkrét emóció elméletek (Ekman és mások):
Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek
az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az
arckifejezések kutatóitól importálták a beszédkutatók.
Nincs teljes egyetértés az alapérzelmek listájában, de az
alábbiakat mindenki felsorolja:
meglepetés, félelem, harag, öröm, szomorúság, undor
Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek?
“A display rule specifies who can show what emotion to whom,
when.” - Ekman
Péter Pázmány Catholic University, Department of Information Technology
Alapérzelmek az arcon

Vannak akaratlagosan nem mozgatható arcizmok
Péter Pázmány Catholic University, Department of Information Technology
Folytonos érzelmi dimenziók


Activation, Valence, Power, Intensity
Feeltrace: „cimkéző” eszköz
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Neutral (declarative)
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Excitement
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Disappointment
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Hot anger
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Cold anger
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Sarcastic
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Afraid
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Impatient
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Sad
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: acted emotions
Lifeless
Marilyn won nine million dollars
Péter Pázmány Catholic University, Department of Information Technology
Resources: real emotions

Gyerekekről – felnőtteknek (Kossuth Rádió):
- öröm: anyuka
anyuka
- szomorúság: nővérke
Péter Pázmány Catholic University, Department of Information Technology
Resources: real emotions
angry
Péter Pázmány Catholic University, Department of Information Technology
Resources: real emotions
sad
Péter Pázmány Catholic University, Department of Information Technology
Resources: real emotions
joy
Péter Pázmány Catholic University, Department of Information Technology
Érzelmes Beszéd Adatforrások



Érzelem „portré” (acted emotion):
színészek felmondják a kért szöveget a kért érzelmi
tartalommal
előny: előírható a szöveg
„Valódi” érzelmek (real emotion):
önkénteseket beszéltetnek, közben igyekeznek
hangulatilag befolyásolni
előny: hitelesebb, a beszélő átéli az érzelmeit így a
megfelelő fiziológiás folyamatok lejátszódnak
Szintetizált beszéd:
az elméletek igazolásához használják
Péter Pázmány Catholic University, Department of Information Technology
Alapérzelmek megkülönböztetése
Analysis of Variables (ANOVA):
Petri Laukka, PhD Thesis, 2004
Péter Pázmány Catholic University, Department of Information Technology
Akusztikai jellemzők
Péter Pázmány Catholic University, Department of Information Technology
Akusztikai jellemzők
Péter Pázmány Catholic University, Department of Information Technology
Categorical Perception
Péter Pázmány Catholic University, Department of Information Technology
Emofilt system
neutral
anger
fear
joy
sad
Péter Pázmány Catholic University, Department of Information Technology
Voice Conversion

USC SAIL:
A prozódia mellett a spektrális jellemzőket is
változtatták (LPC)
neutral

angry
happy
sad
Cabral:
Voice quality transformation
original
angry
happy
sad
fear
Péter Pázmány Catholic University, Department of Information Technology
Szabály alapú rendszerek

Loquendo:
szótagok akusztikai jellemzőit veszi figyelembe
neutral

angry
happy
sad
Kobayashi:
Sentence HMM + speaking style
reading
joy
rough
sad
Péter Pázmány Catholic University, Department of Information Technology
Alkalmazási lehetőségek




Érzelmes beszéd szintézise és gépi felismerése ma
még gyerekcipőben
A szórakoztató iparban lenne rá igény: játék szoftverek,
animációs filmek
Oktató szoftverekben is, elsősorban gyerekeknek
Ami már működik: annoyance detection – az automata
call center kapcsolja a kezelőt ha már kellően ideges az
ügyfél
Péter Pázmány Catholic University, Department of Information Technology
Irodalom a beszéd és érzelem
témához






Buda Béla: A közvetlen emberi kommunikáció
szabályszerűségei
Buda Béla: Empátia
Hámori József: Az agyféltekék asszimetriái
Antonio Damasio: Descartaes tévedése
Geoffry Miller: A párválasztó agy
PhD értekezések (angolul): Marc Schröder, Petri
Laukka, Raul Fernandez, Sylvie Mozziconacci
Péter Pázmány Catholic University, Department of Information Technology
Köszönöm a figyelmet