Ministère de l’Education Nationale, de l’Enseignement Supérieur et de la Recherche L’importance de l’évaluation pour la recherche technologique. Joseph Mariani Directeur Département «Technologies de l’Information.
Download ReportTranscript Ministère de l’Education Nationale, de l’Enseignement Supérieur et de la Recherche L’importance de l’évaluation pour la recherche technologique. Joseph Mariani Directeur Département «Technologies de l’Information.
Ministère de l’Education Nationale, de l’Enseignement Supérieur et de la Recherche L’importance de l’évaluation pour la recherche technologique. Joseph Mariani Directeur Département «Technologies de l’Information et de la Communication» Programmes • Programme Français « Techno-Langue » (2002) • Programme Français « Techno-Vision » (2004) • Proposition Européenne « Lang-Net » (2005) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 2 Action « Techno-Langue » • Rapport réalisé par le CTIL (Président : A. Danzin) du CSLF pour le Premier Ministre (Novembre 2000) • Réunion interministérielle à Matignon le 26 juin 2001 • Action Techno-Langue – Veille technologique et évaluation des outils de traitement de la langue française • Soutenue par le MR, le MinEFI et le MCC (7.5 M€ / 11 M€) • Articulée avec les Réseaux de Recherche et d’Innovation Technologiques (RRIT) concernés: – Télécoms (RNRT), Logiciel (RNTL), Audiovisuel&Multimédia (RIAM) – Déjà financés par 3 ministères • et avec l’action de veille stratégique (VSE) du MESR • Recherche Technologique de Base (RTB) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 3 Recherche Technologique de Base Points de rencontre avec le développement de technologies Technologies nécessaires pour les applications Identification de verrous Recherche Technologique de Base (RTB) Recherche Scientifique Résultats de recherche à évaluer quantitativement Long terme / haut risque: retour d’investissement 24 octobre 2005 Evaluation des usages Evaluation quantitative Développement d’Applications (RRIT) Technologies validées pour les applications Evolutionnaire ASTI - Journée Techno-Langue / Techno-Vision Utilisabilité Acceptabilité 4 Action « Techno-Langue » TECHNO-LANGUE RNRT RNTL RIAM VSE Programme d’infrastructure en soutien à la RTB, le développement d’applications restant dans les RRIT et dans VSE (120 M€ / an) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 5 Evaluation quantitative • • • • Programme ARPA SUS (1971-1976) Les systèmes de reconnaissance «corrects à + de 99%» Le cas Martine Kempf (1984) Initiative du NATO RSG10 (1980) • Anglais américain + britannique, Hollandais, Français, Allemand • Initiative du DARPA-NIST (1984/1987-) • Systèmes de reconnaissance vocale • Ouverture à la participation internationale (1992) • Extension à la langue écrite / à la vision par ordinateur • Journal LRE (Springer Verlag), LREC’2006, AUF… 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 6 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 7 Action « Techno-Langue » – Ressources Linguistiques • Données orales/écrites (corpus, dictionnaires, terminologiques…) • Outils de base pour le traitement de la langue (Logiciels libres) – Evaluation • Evaluation de technologies (campagne d’évaluation) • Evaluation d’applications (boîtes à outils d’évaluation) – Normes & standards • Effort mutualisé pour renforcer la présence française – Veille technologique • En liaison avec les actions en cours (Euromap...) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 8 8 campagnes d’évaluation • Langage écrit – – – – – Analyse syntaxique (EASY) Alignement de textes multilingues (Arcade II) Extraction de terminologie (CESART) Recherche d’informations : Q&R (EQUER) Traduction automatique (CESTA) • Langage parlé – – – – Synthèse vocale (EVASY) (Reconnaissance du locuteur) Dialogue oral (MEDIA) Transcription de parole / indexation automatique (ESTER) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 9 ESTER • Transcription de parole «riche» et indexation – – – – – – – Données radiophoniques en français 100 h transcrites manuellement (1 Mmots, 350 locuteurs) + 1600 h brut 13 participants (3 sociétés) Transcription écrite (TR / pas TR) Segmentation (parole/sons, reconnaissance/suivi du locuteur) Reconnaissance d’entités nommées (dans parole ou textes transcrits) (Détection et suivi de thèmes pour l’indexation) • Workshop final : 30-31 mars 2005 • Distribution du package d’évaluation – Données de développement et de test, métriques, résultats. • Workshop pour les linguistes : 12 Mai 2005 – Données et outils disponibles (données utilisées dans EASY), Résultats – Problèmes ouverts nécessitant de conduire des recherches 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 10 Contact – Courriel : [email protected] Portail: http://www.technolangue.net 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 11 Action Techno-Vision • Lancée en 2004 • Collaboration de deux ministères – Ministère de la Défense / DGA – MESR / Direction de la Technologie • Technologies duales (civil + défense) • Uniquement évaluation de technologies • Montant des aides publiques : 2.2 M€ / 5.1 M€ http://www.technologie.gouv.fr/appel/technovision.html 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 12 10 campagnes d’évaluation Analyse de scènes vidéo • ETISEO : surveillance vidéo • IMAGEVAL : indexation d’images Biométrie • ARGOS : Reconnaissance de textes & de personnes (TV, vidéo) • IV2 : biométrie (reconnaissance iris et visage) Imagerie médicale • MESSIDOR : ophtalmologie de la rétine • EVALECHOCARD : échocardiogrammes Documents • RIMES : analyse de documents écrits • EPEIRES : analyse des symboles dans des documents techniques Détection et suivi d’objets • ROBIN : détection d’objets dans les images (spatial et terrestre) • TOPVISION : imagerie sous-marine 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 13 Elargissement Européen en TL • Construction de l’Espace Européen de la Recherche – 90% de la recherche Européenne dans les Etats-Membres – 10% dans les programmes de la Commission Européenne – Projets ERA-Net: coopération entre programmes nationaux • Le multilinguisme: enjeu spécifique pour l’Europe – Enjeu économique, culturel et politique – Préservation des cultures / langues – Communication entre les citoyens de l’UE • 25 pays / 20 langues / 380 paires de langues • CE: 1170 traducteurs, 1,3 Million de pages traduites (2001) • Parlement: 30% du budget pour multilinguisme (300 M€) – 500 traducteurs – – – – Nécessité de bénéficier de Technologies de la Langue Effort énorme (# TL * # langues) Trop important pour la seule Commission Européenne A partager avec les Etats Membres (principe de subsidiarité) 24 octobre 2005 ASTI - Journée Techno-Langue / Techno-Vision 14 Proposition Lang-Net (FP7) France - RL en français -Adaptation technologies au français Allemagne - RL en allemand - Adaptation technologies à l’allemand Danemark - RL en danois - Adaptation technologies au danois 24 octobre 2005 Suède - RL en suédois - Adaptation technologies au suédois Commission Européenne - Coordination / communication - Standards / échanges - Développement techno. génériques - Evaluation de technologies ………... ASTI - Journée Techno-Langue / Techno-Vision Italie - RL en italien - Adaptation technologies à l’italien Norvège - RL en norvégien - Adaptation technologies au norvégien 15