Transcript Nooj avec le russe seminaire janv 2013 (Paris)
Ressources lexicales et grammaticales pour le russe
Dictionnaires et grammaires pour le russe pour le logiciel Nooj de Max Silberztein
Semaine NOOJ Inalco 22 janvier 2013
Vincent BÉNET
CREE Centre de Recherches Europes-Eurasie
Recherche assistée par ordinateur
1
Conception et réalisation de dictionnaire et grammaire pour le russe pour le logiciel Nooj de Max Silberztein
Etat des lieux sur les ressources pour le russe
Principes de conception du dictionnaire
Descriptif de la réalisation
Principes de conception des grammaires
2
Historique des ressources existantes en russe
CORPUS RUSSES ACTUELS AVEC RECHERCHE D’OCCURRENCES 2000-2013 La bibliothèque de Moshkov http://lib.ru
Le fonds informatisé de la langue russe http://cfrl.ru
Le corpus national de la langue russe http://www.ruscorpora.ru
Le corpus national de la langue littéraire* russe http://www.narusco.ru
3
Corpus de textes russes
Le fonds informatisé de la langue russe http://cfrl.ru
•1600 oeuvres
littéraires (romans, poésies, théâtre du XIX et XX, environ 100 auteurs)
•Corpus de textes de
journaux (années 1991-2000)
•Dictionnaires •avec logiciel intégré de
recherche d’occurrences
4
Computer Fund of Russian language
http://cfrl.ru
5
Corpus national russe
http://www.ruscorpora.ru
Échantillon « représentatif » de la langue russe 50 000 textes 150 000 000 mots Corpus de 5 000 000 formes étiquetées et désambiguïsées avec recherche d’occurences
6
National corpus of russian language
http://www.ruscorpora.ru
Recherche dans le corpus : par sous-corpus Recherche par morphosyntaxe ou sémantique 7
Corpus national russe
http://www.ruscorpora.ru
8
Corpus national de la langue ‘littéraire’ russe http://www.narusco.ru
Textes de la langue russe écrite et orale depuis 1950
9
Corpus de textes russes
La Bibliothèque de Moshkov http://lib.ru
10
Historique des ressources existantes en russe
LOGICIELS DE TRAITEMENT DE CORPUS pour la langue russe 1980-2000
UNITEX
avec un corpus d’environ 100 pages ( Le joueur de Dostoevski) et un dictionnaire de 9000 mots correspondant au vocabulaire russe du texte
11
Historique des ressources existantes en russe
DICTIONNAIRE ELECTRONIQUE pour la langue russe dictionnaire grammatical de ZALIZNIAK 96 000 entrées avec codage morphosyntaxique
------
Version en ligne : conjugueur-déclineur de STARLING http://starling.rinet.ru/cgi bin/morphque.cgi?flags=endnnnn
12
Historique des ressources existantes en russe
conjugueur-déclineur de STARLING http://starling.rinet.ru/cgi bin/morphque.cgi?flags=endnnnn
13
Ressources russes : dictionnaire de Zaliznjak Version papier du dictionnaire: Ordre alphabétique inverse Notation grammaticale : Étiquette + modèle flexionnel+ particularité(s) 14
Ressources russes : dictionnaire de Zaliznjak ( version électronique) 15
Constituer des ressources en russe pour Nooj IMPOSSIBILITE DE RECUPERER LES LEMMATISEURS EXISTANTS Utiliser le dictionnaire ZALIZNIAK : 96 000 entrées
Problème du codage utilisé полный п 1*а/б // 1*a/c basé sur l’accent de mot complété d’annotations inutilisables
Nettoyage et « rationalisation »
16
Dictionnaire russe pour Nooj
1. constituer un dictionnaire ( pb accent et pb ë) 2. créer un jeu d’étiquettes « lisibles » 3. recoder le dictionnaire avec ces étiquettes 4. établir la liste des modèles types , écrire les paradigmes affecter les modèles aux mots du dictionnaire et 5. vérifier le paradigme, tester avec des textes et corriger les erreurs 17
Dictionnaire russe pour Nooj
1. constituer un dictionnaire
4 dictionnaires compilés en un seul « ru_morph » ru_a # adjectifs ru_n # substantifs ru_v # verbes ru_o #
o comprend les prépositions, les particules, les pronoms, les mots-outils, les numéraux
Deux dictionnaires additionnels: ru_p (noms propres) ru_as (adjectifs substantivés) .dic = liste de mots et .nof = pararadigmes
18
Dictionnaire russe pour Nooj
problème du ë / e (non résolu à ce jour par l’Académie de Russie) сестра сёстры /
sestra
sëstry (sestry)
сестры : notation imprimerie livres et journaux се: стры : notation du dictionnaire problème de l’accent (jamais noté) : Гó
род
Г<ород
город
á gorod goroda город<а : notation du dictionnaire 19
Dictionnaire russe pour Nooj
2. créer un jeu d’étiquettes « lisibles » properties.def
A_Forme = fc | fl | adv; A_Genre = m | f | n ; A_SGenr = an | inan ; A_Nombre = s | p; A_Cas = Im | Vi | Ro | Da | Tv | Pr | Zv; A_Deg = Comp | Sup ; ADV_Deg = Comp; ADV_Sem = Tps | Loc | Modal; N_Genre = m | f | n ; N_SGenr = an | inan ; N_Nombre = s | p; N_Cas = Im | Vi | Ro | R2 | Da | Tv | Pr | P2 | Zv ; ; V_Pers = 1 | 2 | 3 ; V_Asp = Ipf | Pf ; V_Type = Mvt ; V_Morph = Pvb | Simp | Sufx | PvbSufx ; V_SsAsp = Det | Indet ; V_Temps = Pre | Pa | Fu ; V_Mode = Inf | Ind | Imp | Cond | Ger | Prtp ; V_Voix = Act | Pss ; V_Genre = m | f | n ; V_Nombre = s | p ; V_Constr = intr | tr | sja ; V_Cas = Im | Vi | Ro | Da | Tv | Pr
20
Dictionnaire russe pour Nooj
3.recoder le dictionnaire avec ces étiquettes 21
Dictionnaire russe pour Nooj
3.recoder le dictionnaire avec ces étiquettes
абиссинец,N+m+an+FLX=украинец абитуриент,N+m+an+FLX=артист аблятив,N+m+inan+FLX=завод абляут,N+m+inan+FLX=завод аболиционизм,N+m+inan+FLX=завод аболиционист,N+m+an+FLX=артист абонемент,N+m+inan+FLX=завод абонент,N+m+an+FLX=артист abažur,N+m+inan+FLX=zavod abazinec,N+m+an+FLX=ukrainec abazin,N+m+an+FLX=artist abaz,N+m+inan+FLX=zavod abak,N+m+inan+FLX =čajnik abbat,N+m+an+FLX=artist
22
Dictionnaire russe pour Nooj
4. établir la liste des modèles types #j1a=karta #jo1a=korova #j2a=nedelja #jo2a=boginja #j3a=kniga #jo3a=sobaka #j4a=tuča #jo4a=kassirša #j5a=ulica #jo5a=volčica #j6a=statuja #jo6a=feja #j7a=linija #jo7a=furija écrire les paradigmes
карта =
23
Dictionnaire russe pour Nooj
Exemple de paradigme verbal ( tronqué)
читать =
24
Dictionnaire russe pour Nooj
5. vérifier le paradigme, corriger les erreurs
Lab
Morphology
Look up a word
Inflect
25
Morphologie du russe pour Nooj
5. corriger les erreurs : -
coquilles (mélange latin/cyrillique) A B E K и M H O P C T т У X ATOM MOCKBA
Mots inconnus
-
erreurs dans l’écriture paradigmes
formes erronées
-
mauvaise affectation des mots à leur type flexionnel
formes erronées ou génération de formes incongrues mots inutiles dans le dictionnaire source d’ambiguïtés supplémentaires
-les noms des lettres a,
б, в, и, к, о, с, у, я
-les mots vieillis etc.. 26
Dictionnaire Morphologique du russe pour Nooj
Bilan statistique : Un dictionnaire compilé : russe_morph.nod = 12 Mo 524 paradigmes verbaux 27274 verbes 421 paradigmes nominaux 44564 substantifs 55 paradigmes adjectivaux 20120 adjectifs 48 paradigmes numéraux, pronoms etc. 2126 « mots-outils » Deux dictionnaires annexes 56 paradigmes 3264 noms propres ( toponymes, noms de famille prénoms…) 755 adjectifs substantivés 27
Dictionnaire Morphologique du russe pour Nooj Bilan statistique comparé avec le dictionnaire de EFREMOVA : Nooj : 95000 mots + noms propres 135000 mots 44564 substantifs 20120 adjectifs 755
adjectifs substantivés
27274 verbes 2126 « mots-outils »
Statistiques du dictionnaire d’ EFREMOVA http://www.efremova.info/
substantifs 61000 (85000 unités sémantiques) adjectifs 25000 (51000 unités sémantiques) verbes 25000 (63000 unités sémantiques) pronoms 150 (300 unités sémantiques) numéraux 100 (150 unités sémantiques) adverbes 8500 (10000 unités sémantiques) adverbes prédicatifs 1200 (1500 unités sémantiques) prépositions 350 (400 unités sémantiques) conjonctions 400 (500 unités sémantiques) particules 450 (650 unités sémantiques) interjections 430 (500 unités sémantiques) 3264 noms propres 28
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurrences et des grammaires de désambiguisation -
régime des prépositions
-
régime des verbes courants
- accords adjectifs / substantifs -
rection des numéraux
- expression des dates / heures etc.
reconnaissance des toponymes, des prénoms, des diminutifs etc.
29
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurrences et des grammaires de désambiguisation 30
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurence NAME 31
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurences POSS 32
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurences POSS (2) 33
Grammaires russes pour Nooj
concevoir des grammaires de recherche d’occurences : VB MVT 34
Grammaires russes pour Nooj
concevoir des grammaires de désambiguisation NADO - NADO 35
Grammaires russes pour Nooj
utiliser la grammaire de désambiguisation NADO - NADO Avant l’analyse syntaxique Après l’analyse Syntaxique avec La grammaire 36
Grammaires russes pour Nooj
utiliser la grammaire de désambiguisation NADO - NADO 37
Se constituer des textes-tests
Pour vérifier et écrire les grammaires: Écrire un texte comportant « toutes » les structures que l’on souhaite trouver et désambiguiser .
Trouver une structure
: Text / Locate / Nooj Grammar 38
Se constituer des textes-tests
Grammaire « Name »: Repère toutes les occurrences de la tournure « je m’appelle » .
Text / Locate / Nooj Grammar / Name.nog
39
Se constituer des textes-tests
Désambiguiser une structure
: Info / Preference / Grammar Choisir la grammaire Relancer Syntactic analysis 40
Constituer un corpus de textes vérifiés
Dostoievki : le joueur Gogol : le nez Tchekhov : la dame au petit chien Tolstoï : le prisonnier du caucase Kharms : récits 41
Améliorer les ressources pour le russe pour Nooj
BANQUE DE TEXTES/ AUGMENTER LE NOMBRE DE TEXTES avec des DICTIONNAIRES SPECIFIQUES / TEXTES CODAGE SÉMANTIQUE dans le dictionnaire: ANIMAL, PLANTE, METIER, LIEU, TEMPS , SENTIMENT etc.
constitution de ressources parallèles et alignées harmonisation des étiquettes entre langues (slaves)
42