Projets du laboratoire

Communication Langagière et Interaction Personne-Système

Fédération IMAG BP 53 - 38041 Grenoble Cedex 9 - France

Directeur: Jean Caelen (DR CNRS) Directrice adjointe : Catherine Berrut (Prof. UJF)

www-clips.imag.fr

La future société de l’information

Etudier, concevoir et évaluer de nouveaux moyens de communication

• •

et de travail entre personnes à l’aide d’ordinateurs À la convergence + télécommunications + informatique + objets communicants + …

Thèmes de recherche

Interactions homme-machine Interactions humaines médiatisées par la machine Traitement des informations parole, images, langues

Environnements multimédia et hypermédia pour la formation Environnements perceptifs Indexation de documents multimédia Ingénierie de l’interaction et réalité augmentée Interaction verbale et dialogue homme-machine Interfaces collaboratives et/ou multimodales Recherche d’informations et/ou documentaire Traduction automatique Traitement de la langue, multilinguisme Traitement de la parole

Structure

Direction Recherche

• ARCADE • GEOD • GETA • IIHM • MRIM

Valorisation

• MultiCom

Effectif : 85 (permanents + thésards) UJF, CNRS, INPG, UPMF, US Soutien Technique

• Réseau, Serveur • Projets

Soutien Administratif

• Secrétariat • Gestion des RH • Gestion financière • Gestion des moyens • Communication

Equipes de recherche

ARCADE (J.P. Peyrin, prof. UJF) Ateliers de Réalisation et de Conception d’Applications Destinées à l’Education GEOD (J.F. Serignat, MCF INPG) Groupe d’Etude sur l’Oral et le Dialogue GETA (C. Boitet, prof. UJF) Groupe d’Etude sur la Traduction Automatique IIHM (J. Coutaz, prof. UJF) Ingénierie de l’Interaction Homme-Machine MRIM (M.F. Bruandet, prof. UJF) Modélisation et Recherche d’Informations Multimédia

Valorisation

MultiCom : Plate-forme technologique pour la conception et l’évaluation des systèmes interactifs

Autres aspects de la valorisation

1998 : 1999 : Création de la start-up NOVADIS (UJF + INRIA), Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique, 2000 : Le projet Spatio Guide (prix de l’ANVAR) 2001 : Le projet Dmailer en incubation (GRAIN, ANVAR)

Contrats en cours

• • • • • •

De recherche 8 industriels (Thomson, France Télécom, EDF, Alcatel) dans RNRT, CTI, DGA ou directs 2 internationaux C-STAR, UNL et 2 AUPELF 7 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D), ARIADNE (R&D), GLOSS (FET), FAME (FET) 1 CNRS (Télécom) 2 RRA Thématique et Emergence 99 6 IMAG (C-STAR, RICOM, RESIDE-HIS, EPIC, e Xperience, Scopie)

• • • •

A travers MultiCom 6 industriels (Schneider, France Télécom, EDF), 1 européen SIRLAN IST 5ème PCRD, 30 mois, 1 RRA Emergence SHIVA, 1 thématique ISDN 2 RNRT (PVE, Stylocom)

Collaborations internationales

• • • • •

Europe Allemagne (Univ. Karlsruhe)

• •

Italie (CNR Pise, IRST Trento) UK (Univ. Glasgow, Univ. Edinburgh, UCL Londres)

•

Tchéquie (INP Oztrava) Amérique USA (CMU Pittsburgh) Canada (UQAM, UQTR, UQChicoutimi, Ulaval) Mexique (UDLA Puebla, LAFMI) Venezuela (Univ. Caracas)

• • • • • •

Asie Japon (ATR Nara) Corée (ETRI Taejong) Singapour (IPAL labo commun) Vietnam (MICA labo commun) Chine (Univ. Pékin) Malaisie (USM Penang)

Thèmes

1.

Traduction de dialogues parlés dans le domaine touristique et l’e-commerce (GEOD, GETA) 2. Recherche Interactive, Collaborative et Multimodale 3.

d’informations sur le Web (GEOD, IIHM, MRIM), Environnements perceptifs (télé-médecine, 4.

5.

domotique) et objets communicants (GEOD, IIHM) Formation interactive à distance (ARCADE, IIHM) Documents multimédias et multilingues (MRIM, GEOD, GETA)

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France) NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce ERIM : Environnement de traduction avec interprétariat

Modules linguistiques : 2 chemins possibles

Analyse vers IF texte IF Génération reconnaissance de la parole site qui parle texte langue source Traduction site qui entend la traduction texte langue cible Synthèse de la parole

L’IF

: avantages • N langues cibles possibles pour le coût d’une • Exemple pour le français

Analyse vers IF

IF

Génération

• Possibilité de rétrogénérer contrôle en français pour le

Le 22 juillet 1999 à Grenoble

Projet ERIM plate-forme de traduction avec interprétariat Locuteur 1

traduc tion

Locuteur 2

traduc tion énon cé de parole traduc tion énon cé de paro le

Serveur + Interprète

traduction

Plate-forme 3 clients ( locuteurs, interprète) – 1 serveur Configuration 3-statio ns (ou 4-stations) distantes

HALPIN : Dialogue homme machine en langage parlé Vitesse : Visualisation d’une grande quantité d’informations CoVitesse : Navigation coopérative dans une grande masse d’informations

HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web

Qu'est ce que tu peux me proposer sur ... heu, l'intelligence artificielle ?

J'ai trouvé 1206 documents ayant comme thème intelligence artificielle . Voulez-vous affiner votre requête ?

Historique du dialogue Réponse écrite de la machine (avec hyperliens) Zone de détails d’un document Boîte de dialogue de l’usager Boutons pour les interactions vocales Module de reconnaissance vocale pour IBM ViaVoice

• • •

Une interface graphique aux moteurs de recherche du WWW La récolte de nombreuses informations jugées pertinentes La représentation multiple et de nombreux outils de navigation

VITESSE

Application : VITICOL

Navigation collaborative asynchrone Pertinence sociale en plus de la pertinence "système" Demande d’opinion à chaque information visitée Visualisation des statistiques d’opinion dans une lentille magique

COVITESSE

• •

Navigation collaborative synchrone sur le Web Définition des types de navigation synchrone :

– – – –

questionner un autre utilisateur, rechercher en groupe en partageant ses trouvailles, faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes, être conscient de l’activité de groupe et agir dans ce sens

.

Interface pour la navigation collaborative

SIRLAN : Domotique RESIDE-HIS : Habitat Intelligent Santé COMEDI : Communication Mediatisée Informelle Magic Board : tableau augmenté CASPER : Chirurgie augmentée

Les objets communicants…

SIRLAN : domotique

Comment obtenir toujours et partout la même qualité d’information ?

IHM co ncrète IHM finale

Mac /PC

Tâc hes & Concepts IHM abstraite IHM concrète IHM finale

Pilot

Plasticité des interfaces

Tâc h es & Concepts IHM abstraite IHM concrète IHM finale

WA P

Reside HIS : maintien au domicile

Réseau Téléphonique Public Modem Bus domotique H Modem Capteursde données physiologiques fréquence cardiaque - tension artérielle - poids pression intracrânienne - pression oculaire … Capteurs de sons, d'appels...

Intelligence locale / distante Mémoire d’événements - Identification Horodatation - Communication Présentation des données

Plan de l'HIS expérimental

Capture acoustique

CoMedi : Espace de communication informelle Awareness, Focus Observabilité publiée et filtrée, Réflexivité, Réciprocité Autorisations d’accès Ctrl social dynamique

Filtre EigenSpace: Analyse en Composante Principale (J.Crowley)

Base des images publiables Image source Image envoyée Eigen Space

Exemples de filtres de publication

Stores vénitiens EigenSpace Poster

CASPER

(Computer ASsisted PERicardial puncture) aide le chirurgien à amener une aiguille de ponction à proximité du cœur afin de ponctionner un épanchement.

FORMID : ARIADNE : FORmation Interactive à Distance Plate forme orientée formateur

FORMID

FORMID :

FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation »

GeneSimu Oasis Tableau magique

ARIADNE : une plate forme orientée formateur OASIS (Outil Auteur de Simulations Interactives avec Scénarios) GenEval (Générateur d’exercices d’auto-évaluation)

TIPS, THEOREME, ASCII : Recherche d’information et production de portails avec outils innovants, indexation multimédia FEV : UNL : dictionnaire Français-Vietnamien Traduction de l’écrit par langage pivot. 16 pays participants

THEOREME

Thématisation des Médias par Reconnaissance Vocale

ASCII : Architecture Sémanti-Cognitique d’Indexation d’Images Cones H-Cells ON-Bip OFF- Bip X-Parvo Y-Magno Simulation des réponses spatiales de différents cellules de la rétine. (travaux du LIS)

"Ronaldo marqua de la tête dans le coin gauche du but" (encodage à partir d'une phrase originalement en russe)

score (icl>ev ent, agt>hu man, fld>spor t)

.@en try.@pas t.@co mplete

obj plc met goal head (icl>body) goal (icl>thing) pos agt Ronal do corner mod left

Dictionnaire Français => (anglais) => Vietnamien… ….au projet PAPILLON

Plateau d’expérimentation des systèmes interactifs

Objectifs

•

Etudier les usages et l’ergonomie en situation

•

de travail Fonder des méthodes prenant en compte les facteurs humains dans le cycle de vie des systèmes interactifs

•

Concevoir et évaluer les systèmes dans une approche ethnocentrée et participative

•

Instrumenter les méthodes de recueil et d’observation en SHS

La démarche

Le cycle de conception en spirale Usage

Observation Maquette Evaluation Fonctions

Utilisabilité

Recom mandation Idée Scénario

Utilisabilité

CC Validation

Usage La force de la démarche

réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique, (d) technologique sont pris en compte,

au plus tôt

.

Domotique

Methode pour les usagers (SIRLAN project) Environnement simulé

Elaboration d’hypothèses (services, activités, interactions) Scenarios Maquettes Questionnaires Observations Interviews

Domotique

Résultats pour les usagers

Usage en famille (profils, activités, contrôle) Prérequis (disponibilité, mémoire, préférences) Interface adaptée au besoin (fonctions éclatées, plasticité) Guidage, aide, compatibilité dans les services Facilité de souscription (certification, paiement) Sécurité et souplesse d’utilisation Confidentialité Qualité de service Facteurs d’environnement (confort, mobilité, multi-tâches)

Domotique

Méthode et résultats pour les installateurs • • • •

15 critères : Assimiler la nouvelle technique L’intégrer aux pratiques courantes Adapter l’innovation au métier Mesurer les changements dans l’environnement professionnel

Domotique

Méthode et résultats pour les installateurs • • •

Catégories d’installateurs : Electriciens Fabricants Domoticiens Remote services Global system Bus No Computer using No Interface (screen & buttons) No No No Electriciens ? : dépend de la spécialité Yes ?

?

No ?

Fabricants Yes Yes Yes Yes Yes Domoticiens

Oculométrie

Projets SHIVA et ISDN évaluation de documents électroniques • • • •

Trajectoire Points de fixation fovéale

– –

à 100 ms (perception) à 250 ms (cognition) Vision périphérique Densité des points

Oculométrie

Deux types de résultats •

Recommandations Approche client Disposition grille Les internautes recherchent des infos Le texte sert d’ancrage La légende ou le nom de l’image sont mieux mémorisés que l’image

•

Diagnostics Comparaison de versions Mesure de l’efficacité Mesure de la qualité

Conclusion… CLIPS est…

• • •

Un laboratoire de l’IMAG : UJF/CNRS/INPG Organisé autour de projets de recherche Ouvert sur la valorisation

Communication Langagière et Interaction Personne-Système

Fédération IMAG BP 53 - 38041 Grenoble Cedex 9 - France