Transcript információelméleti megközelítések a pszicholingvisztikában

INFORMÁCIÓELMÉLETI MEGKÖZELÍTÉSEK
A PSZICHOLINGVISZTIKÁBAN
Pléh Csaba
[email protected]
Áttekintés
• A kurzus célja és jellemzői
• Információs alapfogalmak
• Az információelmélet karrierje a nyelvészetben
• Pszicholingvisztikában
• Pszichológiában
• A jelentés helye az informécióelméletben
A kurzus célja
Az információelméleti megközelítés, mint az
egyik vezető kvantitatív törekvés a nyelv
kezelésére
.
Információs fogalmak relevanciája
megértési
produkciós
fejlődési
Kvantitatív megközelítés érvénye a nyelvi
diverzitás és változás elemzésében.
Rendszer és követelmények
• Feldolgozás: a kurzus az órákhoz folyamatos munkát vár el. Minden
hétre megpróbálok kicsiny de világos egyénített gyakorlati feladatokat
adni.
• Követelmények és dolgozatok ÉRTÉKELÉS 100 PONTOS SKÁLÁN
• évközi kis feladatok 50 pont
• Írott dolgozat december 11-ig 50 pont
• Irodalomösszefoglaló, saját témádból, 10 oldalon, kapcsolva az
információelméleti megközelítés lehetőségeihez. Horgonyzási pont:
50 pontot az kap, akinek a dolgozata megjelentethető színvonalú és
formátumú.
1
2
3
4
5
6
7
8
9
Előadástéma
Mi az információelmélet? Kulcsfogalmak. Infor, redundancia,
entrópia. Az IE megközelítés szakaszai a nyelvre alkalmazva. A
szemantikai információ vitái.
A szófelismerés információs értelmezése. Gyakoriság és a szótár. Ziff
törvények. Predikció a vizuális szófelismerésben. Bejóslás és
felismerési idő. Kohorsz elmélet és a szókezdet értéke. ‘Gating’,
entrópiacsökkenés és az akusztikus szófelismerés. Az egyéni szótár
információs elemzése.
Feladat típusa
Számok, betűk, smileyk információs elemzése.
Egységek és elemek.
A morfológia információelméleti értelmezése. A morfológiai
modellek kvantitatív értelmezése.
A mondattan információs megközelítése. Chomsky és Miller kritikai
elemzése. Változatok az információs gondolatok
visszacsempészésére. A kompeticiós (Bates-MacWhinney) és a
konnekcionista modellek.
A priming folyamatok általános érdekessége. Lexikai emlékezet,
világismeret és információ. Szövegmegértési sémamodellek és az
információ. Kintsch információintegrálási felfogása.
Beszédprodukció és információ. Habozás és hibázás és a
bejósolhatóság (Goldmann-Eisler). Priming és közös információ a
társalgásban.
Szabály és statisztika kettős modellek. Pinker, Ullman.
Szuffixumok információs elemzése a magyarban.
Entrópia és szegmentáció.
Vonzatok és igék kapcsolatának entrópiája.
Szótári és gyakorisági alapon.
Elsajátítás és statisztika a kisbabánál. A szabály vs. statisztika viták
(Aslin vs. Marcus).
Tanulási mechanizmusok és az információ. Mesterséges nyelvtan
Entrópiaértékek a magyar szótárban eltérő
gyakoriságoknál.
Intuitív és objektív gyakoriság összevetése.
WEP alapú eljárások a szófelismerés RI
elemzésére.
Szókincsmutatók és az információelmélet.
Szavak jellemzése az asszociatív szótárakban.
Tömegközlési habozások értelmezése.
Példák a magyar szabályok általánosítottságáról a
nyelvi humorban.
A nyelvészeti információelméleti érdeklődés
szakaszai
• Korai lelkesedés: Nyelvészeti kritika
Visszajön a
statisztika
a statisztika
•1950 Shannon
• Miller
1960 Chomsky
G. Miller
1990 Kostic
Bayern Saffran
Kiinduló Shannon Weaver modell
? Hol a kód?
? Hol a jelentés ?
Alapfogalmak
• Információ és bizonytalanság
• Rendszerek átlagos információértéke és a lehetséges jelszám. ÁBC
nagyságtól függ
• Átlagos információ log N
• Bináris egységekben, kettes alapú log.
• Miért?
neuro
optimális keresés
természeti folyamatok csillapítása
Találjuk ki
• Gondoltam egy 0… 9 közti számot
• Gondoltam egy betűt
Néhány egyszerű nyelvi példa
• Folytassuk:
• a…
• abl..
• Egészítsd ki:
• b. r . t . . i. m . t
Az entrópia általános képlete
Entrópia változásai
• Maximális ha minden p egyforma
• Ha vannak kiemelt valószínűségű jelek, csökken a rendezetlenség
• Redundancia: a H (max) és a H(megfigyelt) viszonya
• A struktúra kérdése vizuális formáknál Attneave és Garner
• Akkor a Gestalt szerveződés alacsony információ lenne?
•
Vagy éppen a hirtelen
•
változás adja a formát?
Átviteli fogalmak
• Csatornakapacitás
• Átvitt, vesztett s hozzátett információ
• Mi történik, ha a rendszert emberre értelmezzük?
• Átviteli korlátok Hick törvény: RI az alternatívák log fgvénye
Mire vagyunk limitálva? Miller felismerései
• Abszolút ítélet: 2-4 bit, 4-8 színt
• Munkamemória: 7 ± 2 egység, s
nem info csatorna. ‚Tömb’ határ
Korai felvetések az információs alapú
morfológiáról
• Antal László (1964) a szó • igaz-ság-os-ak-at
testében az általános
tendencia az entrópia
fokozatos csökkenése.
Morfémahatáron
megszakad ez a csökkenés
Miller és Chomsky megfordítják a trendet:
mindez legfeljebb egy gyenge Markov modell
• A Chomsky hierarchia és a
pszicholingvisztika
• Nemcsak a nyelvtanra,
hanem a nyelvi
viselkedésre is algebrai
modell kell
• Abból is nem akármilyen
• Véges állapotú nem elég
• Az ellenérdekeltek szerint
igen, ha a gráf ágaihoz
valószínűségeket
rendelünk
A viselkedés és nyelvi modell
• A nyelv minden viselkedés
analógiája lesz
• Valójában a belső
reprezentáció modellje
• De modellje a
feldolgozásnak is
• Ami approximations to
English volt, most
grammatikalitás lesz
MacKay 2003
• 1. A communication system requires a sender and a receiver to be in
possession of a source code defining the scope of the possible
messages that can be transmitted.
• 2. Communication across the system is not concerned with the
meaning of messages. In a Shannon system the receiver reconstructs
the source message from the received signal by discriminating the
source message from other possible messages
• 3. The receiver does not interpret or expand on the source message.
It simply reconstructs it at the destination with no loss of signal
content
A pszichológia és a nyelv--- statisztikailag
•
•
•
•
•
•
•
•
•
•
Két hagyomány: algebra és a számok
Sorsuk a pszichológiában: Hull, Estes integráció
A statisztikai múlt: A gyakoriság szerepe
A feltupírozott statisztika: Információelméleti modellek
Szavak felismerése és a statisztikai modell
Herbart és Galton randevúja: Számok a gráfokban
A Chomsky hierarchia és a pszicholingvisztika
Az elméleti gépek és az igazi gépek
Parsing és emberi feldolgozás: Az alaktan példája
Hogyan jön vissza a statisztikai modell a gyermekeknél?
Johann Friedrich Herbart (1776 – 1841)
• 1809-1833 Kant utóda Königsbergben
• Lelki matematika:
• Az emberi hajlamok oly változékonyak, mint a
szél, hangulatunk oly bizonytalan, mint az
időjárás – ki találhatna mércéket rájuk, hogy a
matematikai törvények hatálya alá rendelje
őket? Ahol a mérés nem lehetséges, ott a
számolás sem lehetséges; következésképp nem
lehet a pszichológiai kutatásban felhasználni a
matematikát. Így szól a szillogizmus [...]
Meglehetősen téves azonban [...] azt mondani,
hogy csak azután számolhatunk, hogy
méréseket végeztünk [...] A matematika nagy
érdeme az, hogy jóval azelőtt, hogy kielégítően
pontos tapasztalásaink lennének, fel tudjuk
tárni azokat a lehetőségeket, melyeken belül a
valóságnak el kell helyezkednie.
• Herbart: A matematika pszichológiára
alkalmazásának lehetőségéről és
szükségességéről, 1822/1974, 674. o.
Pl. gátlás: A2 + ab-b/a +b
Hebb szabály szerűen a gátlásról
• Ha két nem egyenlő és ellentétes képzet gátolja egymást és az A képzet nagyobb,
mint a B képzet, akkor a gátlások összege fordítottan arányos erejükkel.
• Az A ereje a következő képlet szerint gátlódik tehát:
• A2 + ab – b
a+b
• míg a B a következő képletnek megfelelően gátlódik:
• B2
a+b.
Ha b – Ab/a + b = 0, akkor B intenzitása 0 lesz, és a B képzet el fog tűnni a tudat
küszöbe alatt.
20. századi Herbartok
• Clark Hull
• Tanulás formális modelljei
• Egyedi szokások
• Számokat is mellé ír: már nem
teljesen Herbart
Gustav Theodor Fechner
(1801-1881)
• A mérés megjelenése
• E = K x log S + B
• Külső és belső pszichofizika
• Fechner misztikus érdeklődései:
• Éjjeli és nappali szemlélet
Gustav Theodor Fechner
(1801-1881)
• A mérés megjelenése
• E = K x log S + B
A spekulatív Fechner-Mises
Az angyalok összehasonlító anatómiája, 1825
• curves and specifically the sphere are the ideal forms and
these change (as, indeed, Plato had said). The parts of man's
body are beautiful as they approach it, but the eyeball is most
complete.
• Just as the air is the element of the angels, who are simply free
and independent eyes, all eye, or the eye-type in its highest
and most beautiful development. Thus, what in man is a
subordinate organ, in the angels is of independent worth.
• They are attraction or repulsion, and with this goes the
wonderful color play. General gravitation, which relates all
bodies, is their sense. They feel the farthest thing in the
universe and the slightest change in it.s They are, in short,
living planets and, in fine, the planets are angels.
A statisztikai múlt az észlerlésre : A gyakoriság szerepe
• Cattell, 1886: Közeledünk a nyelvhez. Szavak olvasása. Még embert vizsgálunk, de már a rendszer
is érdekel
• It will be noticed that the perception-time is only slightly longer for a
word than for a single letter; we do not therefore perceive separately
the letters of which a word is composed, but the word as a whole. The
application of this to teaching children to read is evident
A szavak gyakorisága gyakran felmerül
• Olvasás és szókincs tudás mérés megalapozásához
• Asszociatív adatok értelmezéséhez
• Betegek bizarr beszédének interpretáláshoz
• Még stílus statisztikák is megjelennek
• Legfeljebb szófajban jellemezve a szavak
Vissza az információhoz sokrétű fogalom
• Miért ‚szintaktikai’ a Shannon
féle?
• Mi informatívabb köznapilag:
kutya vagy állat? S melyik
ritkább?
• Szemantikai elméletek
• BarHillel MacKay
• Igazság s P ill. diszkriminatív
érték
Egy szó fogalom szerkezete (Kintsch)
Visszacsempésződnek a számok
A szemantikai gráfokban a vastagság vagy a hossza képviseli a tipikalitást
Tovaterjedő aktivációs modell: A szavak a jelentés alapján
izgalomba hozzák a hozzájuk kapcsolódó szavakat. Ez
megjelenik asszociációkban, de a szófelismerés kontextus
hatásaiban is
bölcső
baba
ágy
kórház
orvos
nővér
doktor
hő
lázálom
nap
zöld
fű
emlős
madár
kanári
folyó
láz
állat
sárga
hattyú
WordNet szemantikai szerkezetek: Vissza az alapító
atyákhoz
Eliza: „pszichoterapeuta”
Weisenbaum 1966
• A férfiak mind egyformák.
• Ezt hogy érted?
• Mindig nyaggatnak minket valamiért.
• Mondanál egy konkrét példát?
• Hát, a fiúm küldött ide.
• A fiúd küldött ide.
• Azt mondja, mindig depressziós vagyok.
• Sajnálom, hogy depressziós vagy.
• Talán ki kellene békülnöm az anyámmal.
• Mesélj még a családodról.
• A módszer:
• Kulcsszókeresés
• mindig
• anyám
• Kulcsszó aktivál egy szabályt
• Mondanál egy konkrét példát?
• Mesélj még a családodról.
• Reguláris kifejezések segítségével behelyettesítés a
szabálynak megfelelően
• fiúm -> fiúd
• A kulcsszavak rangsorolva vannak
Mi ELISSA tanulsága?
• Sok emberi folyamat algoritmizálható
• Nem is olyan elvont az ember
• Kérdés, hogy olyan-e ez, mintha átmenne a Turing próbán?
• Miért nem?
• Hogyan lehet becsapni?
• És a valódi pszichológust?
Feladat
• Számok, betűk, smileyk információs elemzése.
• Pl. msh mgh
• Smileyk elemei
• Átlagos illetve statisztikai alapú
• Egységek és elemek.