Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR projet CNRS/INRIA/UJF/INPG iMAGIS-GRAVIR / IMAG

Introduction : Motivations Contexte : proposer un environnement de jeu utilisant un système informatique.

• Conservation des avantages d'un jeu réel – Communication, interaction ..etc.. pour de petits groupes • Conservation des avantages d'un jeu virtuel – animations (personnages, effets spéciaux) – calculs complexes – informations évolutives iMAGIS-GRAVIR / IMAG

Réalité Augmentée: Historique Rapide (1/2) Définition : superposition d'informations virtuelles à l'environnement réel •Projet KARMA : Première démonstration de faisabilité (guide de Maintenance) [Feiner,1992] iMAGIS-GRAVIR / IMAG

[Bajura,1992] Réalité Augmentée: Historique Rapide (2/2) Mettent en avant un certain nombre de “points durs” : • Alignement Réel/Virtuel (Calibration) • Erreur de mesures • Latence (délai mesure-vision) • Occultations (devant et derrière) [Sims, 1994] iMAGIS-GRAVIR / IMAG

PLAN • Introduction • Matériel • Acquisition de « Qualité » • Interaction 3D • Conclusion iMAGIS-GRAVIR / IMAG

• Principe Le capteur SAGEIS filtre infrarouge Caméra linéaire à optique cylindrique Poutre de support Caméra Point D'intersection Intersection entre le plan gauche et le plan de droite iMAGIS-GRAVIR / IMAG

Manipulations avec le capteur SAGEIS • Expérimentation (15 jours) • Calcul et simulation hors-ligne LED infrarouge LED infrarouge iMAGIS-GRAVIR / IMAG

Le capteur "Flock of Birds" • Moins précis, mais disponible • Principe Repère Camera Repère Capteur Repère Emetteur Repère Capteur Repère Pointeur Repère du Monde iMAGIS-GRAVIR / IMAG

Manipulation avec le capteur "Flock of Birds" émetteur caméra pour la soutenance capteurs iMAGIS-GRAVIR / IMAG

PLAN • Introduction • Matériel • Acquisition de « Qualité » – Filtrage (Kalman) – Calibrage du stylet – Reconnaissance de geste • Interaction 3D • Conclusion iMAGIS-GRAVIR / IMAG

Utilisation d'un filtre de Kalman (1/2) Initialisation de

X

et

P

Etat

X

, Covariance

P

• Principe [Kalman,1961] [Liang,1991] Etape de mise à jour de la prédiction (Predicteur) Entrée Capteur Etape de mise à jour de la mesure (Correcteur) • Utilisation – filtrage du bruit de mesure – prédiction : solution à la latence Extrapolation basé sur

X

position prédite iMAGIS-GRAVIR / IMAG

Utilisation d'un filtre de Kalman (2/2) iMAGIS-GRAVIR / IMAG

Calibration du stylet (1/2) Problème : Où est la pointe du stylet par rapport au capteur ?

• Recherche du point fixe par minimisation [Tuceryan,1995] R3,T3 R2,T2 R1,T1 Pw Pt iMAGIS-GRAVIR / IMAG

Callibration du stylet (2/2) • Optimisation de la procédure – 4 mesures – "approximativement pyramidale" Désalignement iMAGIS-GRAVIR / IMAG

Reconaissance de geste Problème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu •Extension à une trajectoire complexe : successions de segments sur le plateau de jeu Ex : “CFC “ iMAGIS-GRAVIR / IMAG

• Introduction • Matériel • Acquisition de « Qualité » • Interaction 3D PLAN monde horizontale – Boutons et Menus – Ajout d’objets – Déplacement de pions • Conclusion iMAGIS-GRAVIR / IMAG

Boutons et Menus (1/2) •PIP [Szalavari,1997] Sensation de contact •Déplacement vertical pour la sélection d’un élement •Validation iMAGIS-GRAVIR / IMAG

Boutons et Menus (1/2) sélection du première item barre de menus sélection du deuxième item iMAGIS-GRAVIR / IMAG

Ajout d’objets • Pourquoi ajouter des objets Réels ?

• interaction (pion virtuel placé dessus) • occultation (pion virtuel placé derrière) • Pourquoi ajouter des objets Virtuels ?

2 cas : – pour des objets dont le modèle 3D est inconnu – pour des objets dont le modèle 3D est connu iMAGIS-GRAVIR / IMAG

Exemple : digitalisation d’un parallélogramme (1/2) iMAGIS-GRAVIR / IMAG

Exemple : digitalisation d’un parallélogramme (1/2) premier point fixé point libre point libre plan créé cube virtuel superposé iMAGIS-GRAVIR / IMAG

Placement d ’un objet connu par une a rête Boîte englobante Objet virtuel Arête de réference Faire tourner l’objet pour Finir l’alignement Base •Géométrie connue •Méthode d’ajout par arête commune •Contrainte d’horizontalité 2 clics suffisent Repère du monde Repère du monde Objet virtuel Objet réel Objet réel superposé Au virtuel On a la position et l’orientation de l’objet iMAGIS-GRAVIR / IMAG

Placement par rotation Z d ’un objet Objet virtuel Base Boîte englobante Repère du monde Faire coincider l’objet par rotation autour du centre Repère du monde Objet réel aligné avec le virtuel On connait la position et l’orientation de l’objet •Pas d’arête “simple” •Méthode d’ajout par centrage •Contrainte d’horizontalité 1 clic-glissé suffit iMAGIS-GRAVIR / IMAG

Placement sur un objet réel pion réel iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (1/3) Pourquoi : action principale dans un jeu !

•Méthode “Lever-Déplacer” iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (2/3) •Méthode “Glisser” •animation du déplacement iMAGIS-GRAVIR / IMAG

Déplacement de pion virtuel (3/3) trajectoire pion virtuel iMAGIS-GRAVIR / IMAG

Contributions • Procédure de calibrage de la tête et du stylet • Ajout dynamique d’objets • Déplacement de pions • Reconnaissance de geste Extensions futurs • illumination – ombres – modèle réaliste • navigation dans un espace virtuel iMAGIS-GRAVIR / IMAG

Creation de la scène •utilitaires de créations iMAGIS-GRAVIR / IMAG

Calibration de la camera (1/4) Repère camera Repère capteur iMAGIS-GRAVIR / IMAG

Calibration de la camera (2/4) cube réel + cube virtuel Vue fixe Repère camera Repère capteur iMAGIS-GRAVIR / IMAG

Calibration de la camera (3/4) iMAGIS-GRAVIR / IMAG

Calibration de la camera (4/4) iMAGIS-GRAVIR / IMAG