Transcript Folie 1

Semantyka intonacji
Uniwersytet Kardynała Stefana Wyszyńskiego,
Uniwersytet Warszawski 29-30.05.2014
Prozodia w semantyce – semantyka w prozodii
Grazyna Demenko
Zaklad Fonetyki Instytut Językoznawstwa, UAM
Poznań, 12-13 September 2006
Semantyka intonacji
Analiza Modelowanie Aplikacje
Wprowadzenie
Podstawowe zagadnienia
 Problemy badan prozodycznych
 Analiza intonacji
•
•
•
•
Funkcje intonacji
Struktury akcentowe
Interpretacja semantyczna
Formalizacja opisu
 Modele intonacji
• Sposoby modelowania
• Modelowanie intonacji polskiej
 Aplikacje
 Kierunki rozwojowe
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Definicje, teoria i praktyka
Problemy badań prozodycznych
Istnieje duża rozbieżność w metodologii badan prozodycznych . Problem
przetwarzania prozodii ujmowany jest w charakterystyczny sposób dla
określonej dziedziny:
(a) przez informatykę jako sposób kodowania informacji słownych,
(b) przez fonetykę i akustykę jako element sygnału przenoszącego
określone cechy fizyczne i fonetyczne
(c) przez lingwistykę jako element modelowania struktur gramatycznych,
dyskursu,
(d) przez psychologię w odniesieniu do pozajęzykowych aspektów mowy
(e) przez audiologię i foniatrię jako element procesu komunikatywny i jego
zaburzen.
1. «ogół brzmieniowych właściwości języka charakteryzujących sylaby lub
ich ciągi w toku wypowiedzi»
2. «dział językoznawstwa zajmujący się brzmieniowymi właściwościami
języka»
3. «nauka o budowie wiersza zajmująca się zagadnieniami akcentu,
Uniwersytet Kardynała Stefana Wyszyńskiego
Prozodia w semantyce – semantyka w prozodii
iloczasu Uniwersytet
i intonacji»
Warszawski 29-30.05.2014
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Definicje, teoria i praktyka
Problemy badań prozodycznych
„Znaczenie
semantyczne” a „znaczenie pragmatyczne”
Wyrażenia języka naturalnego posiadają znaczenie dosłowne
(„znaczenie semantyczne”, rozważane z punktu widzenia semantyki).
Jednak wytwarzając wyrażenia, uzupełniamy ich „znaczenie
semantyczne”, korzystając z naszej wiedzy o kontekście wypowiedzi i
uczestnikach rozmowy (dodajemy „znaczenie pragmatyczne” ).
Wynik wnioskowania pragmatycznego, w którym odbiorca
komunikatu przypisuje nadawcy pewne znaczenie (znaczenie dla
mówcy), wychodzące poza to, co jest powiedziane w zdaniu
(znaczenie zdania).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Definicje, teoria i praktyka
Problemy badań prozodycznych
-informacje paralingwistyczne jako dodane do treści językowych
dla celowej modyfikacji znaczenia wypowiedzi (np. poprzez zmiany
jakości głosu, sposobu fonacji nadawanie zabarwienia emocjonalnego)
- nielingwistyczne, jak te, które nie mogą być stosowane celowo,
takie jak np. wiek, płeć, stan zdrowia, odruchy bezwarunkowe odgłosy
produkowane przez mowce często związane ze środowiskiem
fizycznym oraz niekontrolowane reakcje na stan emocjonalny, stres..
Cechy nielingwistyczne występujące w sygnale mowy związane sa z
dwoma podstawowymi uwarunkowaniami:
a) fizjologicznymi i anatomicznymi oraz
b) niekontrolowanymi psychologicznymi i neuropsychologicznymi
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Prozodia w mowie i tekscie
Problemy badań prozodycznych
„
Językowa
Leksykalna
Syntaktyczna
Semantyczna
Pragmatyczna
Fizyczne
uwarunkowania
fizjologiczne
Reguły
gramatyki
Reguły
prozodii
Planowanie
wiadomości
Planowanie
wypowiedzi
Neuro
motoryczne
sterowanie
Artykulacja
mowa
Para
lingwistyczna
Styl
intencje
Nie
lingwistyczna
Fizyczne cechy
emocje
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Funkcje intonacji
Analiza intonacji
Indeksowa (wskazująca cechy indywidualne lub identyfikujące przynależność
społeczną, regionalną). Sposób oraz zakres zmian wysokości tonu, średnie
położenie głosu stanowią podstawę dla oceny wieku, płci, specyficznych cech
wymowy, osobowości mówcy.
Leksykalna i syntaktyczna. Funkcja ta związana jest z segmentacją prozodyczną
wypowiedzi na jednostki znaczące. Granice fraz intonacyjnych częściowo określone są
przez strukturę syntaktyczną, częściowo przez inne uwarunkowania związane z
czynnikami pozalingwistycznymi. Segmentacja, dzielenie wypowiedzi na podstawie
takich jednostek jest zazwyczaj pierwszym krokiem przy przetwarzaniu ciągłego
akustycznego sygnału. Syntaktyczne i intonacyjne frazowanie są bardzo podobne, ale
nie muszą sobie dokładnie odpowiadać. Położenie sylaby akcentowanej może
sygnalizować granicę wyrazu.
Semantyczna. Słowa są akustycznie podkreślane poprzez uwydatnianie
prozodyczne sylab będących potencjalnymi nośnikami akcentu. Wiele języków
zachodnioeuropejskich ma więcej niż jeden typ akcentu. Jest zatem konieczne, aby
rozpoznać nie tylko, który element wypowiedzi jest akcentowany, ale także, jaki to jest
typ akcentu.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Funkcje intonacji
Analiza intonacji
Semantyczna.
Odnosi się głównie do tematycznego umiejscowienia akcentu, podkreślenia
nowej informacji, uwydatnienia najważniejszego elementu wypowiedzi.
Przykładowo: tematyczne umiejscowienie akcentu w wypowiedzi Ania jedzie nad
morze może wygenerować trzy możliwości: (a) Ania jedzie nad morze (odpowiedź
na pytanie Dokąd jedzie Ania?), (b) Ania jedzie nad morze (odpowiedź na pytanie
Kto jedzie nad morze?), (c) Ania jedzie nad morze (odpowiedź na pytanie Czy
Ania jedzie nad morze?).
Pragmatyczna
Pytanie, komenda, stwierdzenie lub prośba narzucają określony typ konturu
intonacyjnego (o znaczeniu wypowiedzi: Przeczytasz ten rozdział? Przeczytasz
ten rozdział! Przeczytasz ten rozdział zadecydują głównie zmiany wysokości tonu
w obrębie całej wypowiedzi).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji
Semantyka intonacji
Analiza Modelowanie Aplikacje
Funkcje intonacji
Analiza intonacji
Dyskursowa. Funkcja ta związana jest bezpośrednio z sytuacją
komunikacyjną i aktami dialogowymi. Między innymi ma na celu
podtrzymanie uwagi rozmówcy, kontynuację bądź zakończenie
rozmowy, nawiązanie kontaktu. Spełnia również ważną funkcję w podziale i
interpretacji i rodzaju jednostek dyskursowych. Sygnalizuje również, czy
mówca skończył swoją wypowiedź, i czy inna osoba może mówić (reguluje
kolejność wypowiedzi). Dostarcza informacji o tym, co przekazuje mówca, np.
czy jest to wątpliwość, doradzanie, zachęcanie, dezaprobata.
Psychologiczna. Bardzo często zrozumienie treści wypowiedzi związane jest
z właściwą segmentacją wypowiedzi. Psychologiczna funkcja intonacji
umożliwia wyodrębnienie z mowy jednostek, które są łatwe do
zapamiętania. Przykładowo wypowiedź: Możesz pomalować na niebiesko
zielono czerwono czarno lub ↘żółto jest trudniejsza do zrozumienia i
zapamiętania niż wypowiedź podzielona intonacyjnie: Możesz pomalować
na↗ niebiesko ↗ zielono↗ czerwono↗ czarno lub ↘żółto.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Funkcje intonacji
Analiza intonacji
Afektywna. Funkcja afektywna związana jest głównie ze stanami
emocjonalnymi (odzwierciedlającymi się w wypowiedziach
wyrażających np. złość, radość, gniew, strach), również jednak z
nastawieniem do rozmówcy, do tego, co on mówi (np. wątpienie,
niedowierzanie), do własnych wypowiedzi, przekazujących
słuchaczowi ironię, sarkazm, akceptację.
Neurologiczna i neurolingwistyczna. Funkcja ta wyraża zaburzenia
w prozodycznej ekspresji: hiperprozodia – przesadne
wykorzystywanie zakresu głosu, intensywności, iloczasu,
hipoprozodia –zredukowana ekspresja prozodyczna i dysprozodia –
niewłaściwe użycie struktury prozodycznej. Funkcja ta objawia się w
analizie różnych długoterminowych zaburzeń ośrodkowego układu
nerwowego, jak również krótkoterminowych zaburzeń.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Struktury akcentowe
Analiza intonacji
Prozodia ma strukture hierarchiczną
Prozodyczne elementy:
Akcent potencjalny, akcent realny,akcent rdzenny
Prozodyczne struktury:
Stopa rytmiczna, stopa akcentowa, fraza intonacyjna
• akcent potencjalny
JO
LA
WY PI
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
ŁA
SOK
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Analiza
Semantyka intonacji
ISC Model
Analiza Modelowanie Aplikacje
Struktury akcentowe
Analiza intonacji
akcent realny
JO LA
WY PI
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
ŁA
SOK
Semantyka intonacji
Analiza
Semantyka intonacji
ISC Model
Analiza Modelowanie Aplikacje
Struktury akcentowe
Analiza intonacji
akcent rdzenny
JO LA
WY PI
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
ŁA
SOK
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Struktury akcentowe
Analiza intonacji
Przebieg częstotliwości podstawowej w wypowiedzi ja jem.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
nawóz
na wóz
Akustyczne wyznaczniki akcentu
pora dnia poradnia
Analiza
Semantyka intonacji
ISC Model
Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Analiza intonacji
Co jest powiedziane
Jak jest powiedziane
„
• TY powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Analiza intonacji
Jerzy nie pije bo jest nieszczęśliwy
(Jerzy pije ale powodem jego picia nie jest fakt ze jest
nieszczesliwy
Jerzy nie pije I bo jest nieszczęsliwy
(nie pije z tego powodu ze jest nieszczesliwy
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Analiza intonacji
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Interpretacja semantyczna
Semantyka intonacji
Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Analiza intonacji
z telewizyjnego kina nocnego // wciąż z sympatią
wspominam // człowieka który się zmniejszał /// film z
gatunku fikcji naukowej /// a więc raczej fantastyczny // i
raczej nie naukowy /// ale za to pobudzający wyobraźnię ///
była to opowieść o panu /// który// zaczął się zmniejszać ///
oczywiście / poza tym panem // wszyscy to bagatelizowali ///
żona powtarzała mu // że jest wcale duży jak na małego ///
bo dużo zarabiał /// a lekarz kazał mu// dobrze się odżywiać
// nic się nie przejmować // i na zakrętach hamować /// bo/
każdy dobrze życzy małemu /// który dobrze zarabia ///
życie pana który malał // stawało się więc coraz
trudniejsze ///
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Znacznik
Granica
paragr
Prawdopodobieństwo
Komentarz
[1]
obligatoryjna
bardzo silna
af
….
?!
?...
[1]
obligatoryjna
bardzo silna
.
!
?
[2]
obligatoryjna
silna
;
:
„”
[2]
obligatoryjna
mniej silna
/
-
,
[2]
obligatoryjna
mniej silna
()
{}
[]
otw. [2]
obligatoryjna
mniej silna
spójnik
[3] – [5]
opcjonalna
zróżnicowana
fraza przyimkowa
[3] – [5]
opcjonalna
zróżnicowana
granica pomiędzy grupą
[3] – [5]
opcjonalna
zróżnicowana
[3] – [5]
opcjonalna
zróżnicowana
*
<>
//
podmiotu i orzeczenia
imiesłów
elementy dyskursowe
[3]
opcjonalna
zróżnicowana
złożoność struktury
[3]
opcjonalna
zróżnicowana
Semantyka intonacji
Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Analiza intonacji
REALSPEAK
Jego prace napisane w ostatnich latach
Jego prace napisane w ostatnich latach za granicą
Uniwersytet Kardynała Stefana
Wyszyńskiego, Uniwersytet Warszawski 29-
- za granicą nie znalazły uznania.
- nie znalazły uznania.
Semantyka intonacji
Figure 3: a) I keep trying to get through…. (Fmin =121Hz), b) I’ve reported it so many
times already… - clearly audible irritation (Fmin =173 Hz) c) … so I don’t know anything
anymore… - the answer after being asked by a police officer to calm down (Fmin =115
Hz).
Semantyka intonacji
Analiza Modelowanie Aplikacje
Formalizacja opisu
Analiza intonacji

Mama myje rano lalę małej Joli.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Formalizacja opisu
Analiza intonacji

Rys .1a. Zmiany wys ok oś ci tonu w s twierdzeniach (S ).
Rys .1c. Zmiany wys ok oś ci tonu w pytaniach (PU1).
Rys .1e.
Rys .1b. Zmiany wys ok oś ci tonu w poleceniach (P).
Rys .1d. Zmiany wys ok oś ci tonu w pytaniach (PU2).
Zmiany wys ok oś ci tonu w pytaniach (PR).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
• Modele oparte są na różnych typach danych:
akustycznych, percepcyjnych
• Różny materiał- typy dyskursu
• Różne typy analiz fizycznych wykładników cech
prozodycznych
• Istnieje wiele modeli intonacji
• Jest ogólna zgoda w zakresie wystepowania
prozodycznej prominencji i prozodycznego frazowania.
• Kontrowersje tyczą typow prominenci i typów
frazowania
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
ToBI (Tones and Break Indices)
H*
Wysokie (H) i niskie (L) tony są skojarzone z
prozodycznymi zdarzeniami . Przerwania (break
indices) opisują stopień rozdzielenia między
wyrazami
L*
Phrase Accents describing the pitch movement from the last
Boundary Tones describing the pitch movement immediately
before the boundary
L*+H
L+H*
H+!H*
L-L%
L-H%
H-H%
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
H-L%
!H-L%
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
Fujisaki model
Ap
Phrase Command
Gp(t)
Phrase Component
T03
T01
t
T02
Phrase Control
Mechanism
loge F0 (t)
loge Fb
Aa
t
Accent Command
T12 T22
T11 T21
T13
T14 T24
T23
t
Accent Control
Mechanism
Accent Component
Ga(t)
I
J
i 1
j 1
ln F0 (t )  ln Fb   ApiGpi (t  T0i )   Aaj{Gaj (t  T1 j )  Gaj (t  t2 j )}
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
Model IPO. charakteryzującym się cechami sekwencyjności oraz superpozycją
jest model ’t Harta. Model zakłada, że słuchacz wrażliwy jest tylko na te zmiany
częstotliwości podstawowej, które były zamierzone przez mówcę. Najmniejszą
jednostką percepcyjnej analizy jest zmiana parametru F0 (tzw. pitch movement),
opisana następującymi percepcyjnie istotnymi cechami: kierunek (wzrost,
spadek), synchronizacja (wczesna, późna, bardzo późna), prędkość zmiany
(szybka, wolna), wielkość (pełna, częściowa).
Model KIM. Intonacyjny model KIM (Kieler Intonationsmodell) bazujący na
brytyjskich tradycjach (tonach Hallidaya) est to funkcjonalny model oparty na
badaniach fonologicznych, fonetycznych i percepcyjnych. integruje również
syntaktyczne, semantyczne, pragmatyczne i ekspresywne funkcje intonacji.
Intonację określają połączenia między maksimami i minimami przebiegu
parametru F0 zsynchronizowane z ekstremami na samogłoskach akcentowanych
(synchronizacja: wczesna, środkowa, późna), granice prozodyczne, tempo mowy,
nieciągłości oraz pauzy. W modelu uwzględniono 3 położenia ekstremów:
wczesne, środkowe i późne oraz nadano im funkcje semantyczne (wczesne
oznacza fakt ustalony, środkowe świadczy o pojawieniu się nowej
informacji, zaś późne związane jest z emfazą).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
Model Tilt. Fonetyczny i sekwencyjny model Tilt reprezentuje intonację jako sekwencję ciągłych
sparametryzowanych zmian częstotliwości podstawowej (Taylor, 1994). Elementarną
jednostką jest intonacyjne zdarzenie (zmiana). Istnieją dwa rodzaje zdarzeń: akcenty i
tony brzegowe, każde z nich ma wzrost i spadek, który może być różnej wielkości.
Parametry modelu Tilt, które w pełni opisują kształt zmiany tonu, posiadają również językowo
użyteczne interpretacje. Zarówno akcenty, jak i tony graniczne, charakteryzowane są poprzez
ten sam zestaw parametrów: amplitudę, czas trwania, tilt, pozycję ekstremum oraz czasową
synchronizację.
Tilt jest obliczany na podstawie względnej wielkości wzrostu i spadku parametru F0. Wartość 1
oznacza wyłącznie wzrost, -1 wskazuje, że jest całkowity spadek. Dowolna wartość pomiędzy 1
i 0 wskazuje na występowanie zarówno wzrostu, jak i spadku.
System Prosogram. Prosogram jest półautomatyczną metodą transkrypcji prozodii opartą na
modelu tonalnej percepcji. (Mertens, 1995). Głównym założeniem Prosogramu jest
stwierdzenie, iż podstawowymi jednostkami dla percepcji intonacji są wokaliczne ośrodki
sylaby. Stylizacja przebiegu wysokości tonu intonacji w Prosogramie uwzględnia percepcyjne
progi dla postrzegania zmian w obrębie sylaby.
Dla spostrzegania różnic w zmianie częstotliwości podstawowej (tzn. glissando)
określony próg (G w semitonach na sekundę) wyraża się jako G = 0,16/T2 (ST/s), gdzie T
jest czasem trwania zmiany.
Stefana
System Uniwersytet
Prosogram Kardynała
odnosi się
tylko Wyszyńskiego
do jednego poziomu
analizy
intonacji,
tj. do percepcyjnego,
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji
Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modele intonacji
Model INTSINT (INTernational Transcription System for INTonation). Głównym założeniem tej
metody jest stwierdzenie, że forma i funkcja intonacji powinny być reprezentowane oddzielnie.
Formy intonacji można opisywać i analizować na różnych poziomach reprezentacji: na
fonologicznej, fonetycznej i fizycznej. Segmenty definiowane globalnie odniesione są do
indywidualnego zakresu zmian parametru F0: linii górnej − Top (T), linii środkowej − Mid
(M), linii dolnej − Bottom (B). Segmenty definiowane lokalnie uwzględniają poprzedzające
zmiany parametru F0 na poprzednich sylabach: wyższą − Higher (H), niższą − Lower (L),
taką samą − Same (S), rosnącą w górę − Upstepped (U), opadającą na dół − Downstepped
(D).
PENTA. Model PENTA opiera się na dwóch podstawowych założeniach. Po pierwsze melodia
mowy wytwarzana jest przez artykulacyjny system, którego właściwości fizyczne i neurologiczne
nakładają różne ograniczenia na generowane formy akustyczne – w szczególności inercja
narządów artykulacyjnych ogranicza maksymalną prędkość zmian parametru F0, a koordynacja
różnych artykulatorów ogranicza stopnie swobody (Xu, 2004). Po drugie, mnogość funkcji
komunikacyjnych przekazywanych równocześnie wymaga, aby każda funkcja była
unikalnie zakodowana. Te funkcje kontrolują zmiany parametru F0 przez
charakterystyczne schematy kodowania, które obejmują lokalną wartość docelową,
zakres zmiany i wysiłek artykulacyjny. Zmiana częstotliwości podstawowej może mieć
charakter statyczny (może być niska, wysoka) lub dynamiczny (rosnąca, opadająca). W
przypadku statycznej zmiany ważna jest relatywna wartość docelowa, przy dynamicznej zmianie
Uniwersytet Kardynała Stefana Wyszyńskiego
Prozodia
w semantyce
zarówno prędkość
zmiany, jak i wartość docelowa mają
znaczenie.
Semantyka
intonacji – semantyka w prozodii
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji
Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Modele intonacji
Fraza pojedyncza (jednostkowa) –obejmuje jeden akcent rdzenny
FS Fraza intonacyjna składowa złozona – może obejmować kilka fraz
pojedynczych. W ortografii frazy te często są skorelowane ze znakami
interpunkcyjnymi : -, ; ( ) „ ” Informacja syntaktyczna.
Za fraze składową uznamy fragment mowy który uważamy za niezupelnie
zakończony ( spodziewamy się dalszego ciągu do interpretacji syntaktycznej lub
pragmatycznej). Może być określony struktura składniową, lub tez związany z
pragmatycznym grupowaniem wyrazów
Moze tworzyć wypowiedz kompletną.
Frazy składowe nie muszą tworzyć wypowiedzi kompletnej. W tym przypadku
struktura frazy sygnalizuje fragment niezupełnie zakończony, mówca go jednak nie
konczy poprawnie gramatycznie, restartuje, poprawia, wtrąca nowy element, .
U - Wypowiedz kompletna (najczęściej związana ze znakami interpunkcyjnymi
typu: . … ! ?) może obejmować jedną lub kilka fraz składowych, które tworzą
wypowiedź często definiowaną gramatycznie jako zdanie. Za wypowiedz
kompletną uznamy fragment mowy który uwazamy za zakończony ( nie
spodziewamy się dalszego ciągu do interpretacji wypowiedzi). Może być
określona struktura składniową, lub tez związana z trescią ekspresywną
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Modele intonacji
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia w semantyce – semantyka w
Semantyka intonacji
Semantyka intonacji
Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Modele intonacji
Dla polskiego wyróżnimy następujące typu struktur
akcentowych:
1) zmiana wysokości tonu na początku sylaby
akcentowanej:
•tony dynamiczne rosnące: LH, LL_, LH_
•tony dynamiczne opadające: HL,HH_,HL_
2) zmiana wysokości tonu po sylabie akcentowanej:
•tony statyczne rosnące: L_H, L_L, L_H_
•tony statyczne opadające: H_L_,H_H
3) ton równy: F
4) H* i L*
5) H*L i L*H
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia w semantyce – semantyka w
Semantyka intonacji
Intonacja rosnąca
Rises
FALLS
Falls
RF
Semantyka intonacji
Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Modele intonacji
Przebiegi opadające
Przebiegi rosnace
Przebiegi złożone
Przebiegi równe
H_H : 879
L!H : 150
LH& : 3
F: 1200
H_H! : 231
L!H! : 53
LH&H : 4
H_L : 17
L!H_ : 104
LH&H!: 5
H_L! : 9
L!L_ : 45
LH&H_: 1
H_L_ : 611
L* : 235
LH&L_: 4
HH_ : 94
L_H : 177
LH_ : 295
HL : 81
L_H! : 13
LL_
HL! : 133
L_H_ : 304
HL& : 1
L_L : 31
HL_ : 673
L_L! : 180
H* 606
LH : 259
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
LH! : 74
:
79
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Lingwistyka
Aplikacje
• Badania lingwistyczne: semantyka prozodyczna
Na pograniczu składni i semantyki, polegające na tym, że
pewne wyrażenia wykazują tendencję do występowania
w kontekstach pewnego typu – opisujących zjawiska
negatywne i pozytywne.
• Badania porównawcze systemów fonologii
intonacyjnej w różnych językach
• Segmentacja tekstu i mowy: akcentuacja, fraza
syntaktyczna i prozodyczna
• Klasyfikacja aktów dialogowych, dyskursu
• Rozpoznawanie dialektu, identyfikacja języka
• Badania psycholingwistyczne: klasyfikacja emocji,
stresu, charakterystyka osobowości
• Nauka języka
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Foniatria, Audiologia, Neuorologia
Aplikacje
•Rozpoznawanie i klasyfikacja patologii
głosu i mowy
•Ocena sprawności i rehabilitacja narządu
słuchu i głosu
•Logopedia
•Psychologiczne i
analizy
psychiatryczne
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Technika
Aplikacje
• Telekomunikacja
• Oprogramowanie do nauki języka
• Rozpoznawanie języka
• Synteza mowy
• Rozpoznawanie mowy
• Modele akustyczne
• Modele lingwistyczne
• Rozpoznawanie i charakterystyka
głosu mówcy
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Rozpoznawanie języka
Aplikacje
Figure 3: Language group classification (Slavic vs. Germanic) on the basis of f0 span and kurtosis (left panel for training, right
panel for testing)
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
SemantykaAnaliza
intonacji
Analiza Modelowanie
ISC Aplikacje
Model
Synteza mowy
Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza ModelowanieISC
Aplikacje
Model
Synteza mowy
Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza
Analiza Modelowanie
Technologia
Aplikacje
mowy
Rozpoznawanie mowy
Aplikacje
Korpus Syntaktycznie proste zdania o fonetycznie i prozodycznie
kontrolowanej strukturze
CVC trifony w kontekście dźwięcznych spółgłosek na określonej
akcentowanej/nieakcentowanej pozycji
Np. dla trifonu jem (w kontekście sonorantów) otrzymujemy 5
prozodycznych pozycji:Jemy dziś w restauracji.Kolacje zwykle jemy w
domu.Łososia dziś jemy?Tego nie pijemy, tylko jemy.Czy ja to zjem?
Dla poszczególnych trifonów w kontekście sonorantów wygenerowano po
klika pozycji prozodycznych, zależnie od frekwencji określonej struktury.
Np. dla trifonu bud (kontekst dźwięcznych zwartych spółgłosek)
wygenerowano 4 pozycje suprasegmentalne: Buda psa spróchniała. Taka
buda jest wygodna. Zobaczyliśmy wspaniałą budę. Czy naprawiłeś budę?
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charaktrystyka głosu i mowy
Aplikacje
Rys. 21. Kontur F0 dla bardzo ekspresywnej wypowiedzi
(oburzenie): Nie bo ja mu wleję, ja mu pokażę panie, no chodzi za
mną taka menda jedna... (Fmaks. = 675 Hz, Fmin. = 109 Hz), wysoki
stopień stresu.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charaktrystyka głosu i mowy
Aplikacje
Rys. 22. Kontur F0 w wypowiedzi pod wpływem silnego stresu (panika):
Proszę szybko przyjechać, wróciłam z pracy, mój mąż wisi w garażu…
(Fmaks. = 589 Hz, Fmin. = 277 Hz).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Aplikacje
Rys. 23. Kontur F0 wypowiedzi kobiety w stanie depresji: (Fmaks. = 230 Hz, Fmin. =
192 Hz). Mowa powolna (3,5 syl./s).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Aplikacje
Rys. 26. Płaski kontur F0 dla wypowiedzi wytworzonej w panice: Halo,
proszę pana, tu jest napad na dom! Bardzo szybkie tempo mowy (9,8
syl./s). Fmaks. = 233 Hz, Fmin. = 211 Hz.
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Aplikacje
Rys. 27. Stopniowy stres w wypowiedzi: a) ktoś wchodzi do
domu (Fmin. = 315 Hz), b) ktoś wchodzi do pokoju, jest
zamaskowany (Fmin. = 350 Hz), c) on wyszedł z pokoju, gdzieś tu
jest – bezpośrednie zagrożenie (Fmin. = 400 Hz).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Aplikacje
Rys. 28. Stopniowo narastający stres w wypowiedzi: a) Proszę przyjedźcie
szybko na ……, oni chcą zabić mojego syna, wybili okno (Fmin. = 289 Hz), b)
…….. Elżbieta, szybko, gangsterzy już są (Fmin. = 345 Hz), c) Szybko. No już
się dzieje (Fmin. = 495 Hz), d) Szybko, zabijają Stacha [krzyk], (Fmin. = 495 Hz,
Fmaks. = 748 Hz).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Aplikacje
Stały poziom stresu w wypowiedzi: Proszę przyjechać, jest włamanie, ona
śmiertelnie się boi…(Fmin. = 240 Hz, Fmaks. = 352 Hz).
Głos neutralny, minimalny stres: Dzwoniłam godzinę temu, chciałabym
odwołać interwencję... (Fmin. = 167 Hz, Fmaks. = 264 Hz).
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Semantyka intonacji
Analiza Modelowanie Aplikacje
Kierunki badań
Zasadnicze wymogi stawiane współczesnej transkrypcji prozodycznej muszą zostać jednoznacznie
określone,
•Reprezentacja prozodii powinna być obiektywna, dobrze ugruntowana teoretycznie, łatwa do
interpretacji. Punktem wyjściowym mogą być badania percepcyjne odnoszące się do różnicowania
zauważalnych zmian wysokości tonu.
•Transkrypcję prozodyczną należy skorelować ze strukturą czasową sygnału (np. zmianami rytmu,
układem pauz, pauz wypełnionych i innych elementów nielingwistycznych) oraz z widmową (np.
zmianami jakości głosu, redukcjami, kooartykulacjami) i również z segmentalną transkrypcją
fonetyczną.
•Transkrypcja powinna w sposób obiektywny oceniać struktury prozodyczne w dłuższych i
krótszych wypowiedziach, niezależnie od mówcy oraz stylu wypowiedzi.
•transkrypcja powiązana była z określonymi funkcjami intonacji w sposób jak najbardziej
jednoznaczny.
•Transkrypcja powinna uwzględniać aspekty charakterystyczne dla określonego języka oraz
niezależne, uniwersalne przynajmniej dla określonej grupy językowej.
•Wskazana byłaby automatyzacja transkrypcji w jak największym stopniu, zwłaszcza w przypadku
dużych korpusów danych.
•Każda transkrypcja musi być weryfikowalna statystycznie w odniesieniu do postawionych założeń.
Uniwersytet Kardynała Stefana Wyszyńskiego
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji
Analiza Modelowanie Aplikacje
Recent Experiments on the
Wyznaczniki akcetu
of Prosodyza
in uwagę
German!
Dziękuję
Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Prozodia
w semantyce
Semantyka
intonacji – semantyka w prozodii