Senosios lietuvių kalbos anotuotas referencinis korpusas

Diachroninio lietuvių kalbos korpuso iniciatyva Pietro U. Dini (Pisos universitetas, Italija) Jolanta Gelumbeckaitė (Frankfurto / M. Goethe’s universitetas, Vokietija) Mindaugas Šinkūnas (Lietuvių kalbos institutas, Vilnius, Lietuva) Vytautas Zinkevičius (Lietuvių kalbos institutas, Vilnius, Lietuva)

2

SLIEKKAS KALT

S K

enosios albos

K LIE

tuvių orpus

AS K

orpus

A

lt

L

i

T

auisch

Frankfurto prie Maino Goethe’s universitetas (Vokietija) Lietuvių kalbos institutas (Vilnius, Lietuva) Pisos universitetas (Italija) 3

4

5

6

7

SLIEKKAS

• Multimodalinis: tekstas + faksimilė • Daugiakalbis: lietuviškas tekstas + vertimo šaltinis • Anotuotas: teksto metainformacija + gramatinės / morfosintaksinės anotacijos • Referencinis: informacija apie kalbą, jos variantus, charakteringą žodyną 8

9

Penn-Helsinki-Corpus

• York-Helsinki Parsed Corpus of Old English Poetry (York Poetry Corpus), • York-Toronto-Helsinki Parsed Corpus of Old English Prose (YCOE), • Penn-Helsinki Parsed Corpus of Middle English, second edition (PPCME2).

10

11

Senųjų raštų duomenų bazė (LKI)

• 72 tekstai nuo 1573 iki 1816 metų (virš 3 mln. žodžių).

• Šiuo metu išoriniam vartotojui prieinami 36 tekstai.

• Konkordancijos (Keyword in Context formatas).

12

13

Senųjų raštų duomenų bazė (LKI)

14

15

16

17

18

19

Senosios lietuvių kalbos bazių deficitai:

• • • • • • • • nėra aiškių tekstų elektroninio parengimo (digitalizavimo) parametrų: • Senieji raštai: Palemonas (UTF-16), • TITUS: TITUS Cyberbit (UTF-8), nėra tekstų vertimo šaltinių elektroninio parengimo parametrų, nėra aiškių tekstų metaaprašo parametrų, nėra tekstų gramatinės anotacijos standartų, nėra aiškiai nustatytų paieškos ir tyrimo kriterijų, nėra elektroninių tekstų ir jų elektroninių faksimilių tarpusavio susiejimo galimybės, tekstų ir tekstų dalių tarpusavio susiejimo galimybės labai ribotos: – chronologiškai, – geografiškai, – pagal žanrą, – pagal kalbos variantus (dialektus, sociolektus), – pagal citatas (pvz., Biblijos tam tikros eilutės vertimo variantai visuose tekstuose, autorių citatos), tekstų ir jų vertimo šaltinių tarpusavio susiejimo galimybės labai ribotos.

20

Iniciatyvos tikslai (1)

• • • • • lietuviškų tekstų rankraščių ir spaudinių faksimilės, tekstų perrašai, tekstų korektūros: • rankraščių korektūrų ir/ar komentarų sluoksniai, • spaudinių korektūros pagal errata/corrigenda sąrašus pačiuose spaudiniuose, tekstų klaidų nurodymas, analizė, taisymas (paties parengėjo/mokslininko nustatytos klaidos, t. y. kritinio leidimo sluoksniai), lietuviškų tekstų vertimo šaltinių perrašai.

21

Anotacija (2)

• • • • • kiekvieno žodžio standartizuota forma (t. y. kaitoma forma, kaip ji būtų atstatyta istoriniame žodyne), kiekvieno žodžio lema (t. y. antraštinis žodis, pagrindinė forma, kokia ji būtų istoriniame žodyne), kiekvieno žodžio lema užrašyta bendrine kalba ir pateiktos jos reikšmės, kiekvienos žodžio formos morfologinės kategorijos ir charakteristikos (POS = Part-of-Speech Tagging).

pažymėtos eksplicitinės ir implicitinės citatos (jų ribos).

22

Pagrindiniai principai

• • • ekonomija: optimaliai panaudoti jau esančius resursus, kokybė: kiekvieną korpuso darbų etapą turi atlikti tos srities ekspertas, paslankumas: kiek įmanoma paslankesnė korpuso architektūra, kuri leistų pildyti anotacinių sluoksnių skaičių; galimybė korpusą plėsti ir taisyti; galimybė keliems mokslininkams paraleliai dirbti prie vieno teksto/subkorpuso.

23

• • • • • • • • •

Sinchroniniai, diachroniniai ir lyginamieji klausimai

kaip kinta ortografija ir kokie jos modeliai (priklausomai nuo laiko, vietos, žanro, kalbos varianto, rankraščio ar spaudinio šrifto), kaip kinta žodžių tvarkos modeliai (priklausomai nuo vertimo šaltinio, laiko, vietos, žanro, kalbos varianto), kokia vieno ar kito žodžio kaitybos paradigma, koks atributinių konstrukcijų santykis su šalutiniais sakiniais, kokia analitinių veiksmažodžio konstrukcijų raida, pagalbinio veiksmažodžio pozicija, kokia evidencinių formų ir konstrukcijų diachronija, kaip verčiamas vienas ar kitas lotyniškas, vokiškas ar lenkiškas žodis ar junginys, kokia jo sintaksinė pozicija vertime lyginant su vertimo šaltiniu, lotynų, vokiečių ir lenkų kalbos įtaka lietuvių kalbos gramatikai (pagal įvairius morfosintaksinius kriterijus).

ir t. t.

24

Techninė koncepcija

• • • • • XML TEI, CES, XCES STTS, DDDTS

Timeline Stand-off

25

XML

• įsigalėjus XML (Extensible Markup Language) duomenų struktūrų kalbai kaip visuotiniam formatui, visi tekstai konvertuojami į XML. XML formatas leidžia įvesti daugiau teksto informacijos sluoksnių. Taip atsiranda daugiau galimybių anotuoti tekstus ir plėsti paieškos laukus.

26

TEI, CES, XCES

• tekstų kodavimui (metainformacijai apie tekstą, vad. Header-Information ir lingvistinėms anotacijoms) iš esmės perimami tarptautiniai techniniai parametrai: – TEI (Text Encoding Initiative, www.tei-c.org

) – CES, XCES (Corpus Encoding Standard, www.cs.vassar.edu/CES ; www.xces.org

) 27

28

29

STTS, DDDTS

• • lingvistinių anotacijų kodavimas iš principo remiasi senosios vokiečių kalbos korpuso (DDD) morfosintaksinio kodavimo pažymomis (tagset), kurios apima ir lotyniškų tekstų anotacijas SLIEKKAS anotaciniai principai rengiami atsižvelgiant į Onos Aleknavičienės parengtus senųjų raštų indeksų rengimo principus 30

31

32

Timeline

• pagal tekstų preindeksaciją numeruojami mažiausi teksto vienetai – ženklai 33

34

Stand-off

Vad. stand-off architektūra yra formatas, kuriame kiekvienas anotacinis sluoksnis faktiškai yra atskiras dokumentas, t. y.: • pirminiai duomenys (tekstas, šaltinis) atskirti nuo anotacijų, • anotacijų sluoksniai atskirti vienas nuo kito, • pirminiai duomenys ir anotacijos vieni su kitais sinchronizuoti, • pirminiai duomenys išlieka integralūs.

35

36

Teksto ir anotacinių lygmenų seka programoje ELAN ELAN (DDD) Manuskript B, W (Buchstabiert, Wort) Referenztext B, W Standard B, W Lemma Übersetzung Sprache Reikšmė

forma rankraštyje (paraidžiui, visas žodis) įrašoma automatiškai forma spausdintame leidime (paraidžiui, visas žodis) įrašoma automatiškai standartizuota forma (atstatyta kaitoma forma istoriniame žodyne) antraštinis žodis (pagrindinė forma istoriniame žodyne) antraštinio žodžio vertimas, antraštinio žodžio užrašymas bendrine kalba ir jo reikšmės kalba (standartizuota kalbos santrumpa) įrašoma automatiškai

ſchwaiſdes ſchwaiſdes žvaizdės žvaizdė žvaigždė

lit

Pavyzdys M1a Lemma

antraštinio žodžio morfologinė kategorija NA (bendrinis daiktavardis / nomen appellativum)

M1b Beleg M2a Flexion Lemma M2b Flexion Beleg M2c Flexion Beleg

konkrečiõs žodžio formos morfologinė (morfosintaksinė) charakteristika antraštinio žodžio: kaitybos klasė_giminė konkrečiõs žodžio formos: kaitybos klasė_giminė konkrečiõs žodžio formos: skaičius_linksnis NA ė_Fem ė_Fem Sg_Gen 37

Daiktavardžių anotacinė tvarka

Daiktavardžiai (M1a: N...)

M2a (lema) M2b (konkreti žodžio forma) M2c (konkreti žodžio forma) kaitybos klasė_giminė kaitybos klasė_giminė skaičius_linksnis kaitybos klasė giminė skaičius linksnis

dar reikia susitarti, kaip žymėti kaitybos klases

Masc, Fem, Neut, Com Sg, Pl, Du Nom, Gen, Dat, Acc, Ins, Loc, Ad, Ill, All, Voc 38

39

PAULA (Potsdamer AUstauschformat für Linguistische Annotationen) ANNIS (ANNotation of Information Structure) 40

Mes uždangą nuleidom, bet daugybė Opiausių klausimų – ore pakibę...

Den Vorgang zu und alle Fragen offen (Berthold Brecht, Der gute Mensch von Sezuan) 41