Transcript présentation

SLAM CONTRAINT POUR LA LOCALISATION
DANS DES ENVIRONNEMENTS
PARTIELLEMENT CONNUS
S. Naudet-Collette V. Gay-Bellile S. Bourgeois M. Tamaazousti D. Larnaout M. Dhome
RFIA 2014
CEA, LIST, Laboratoire Vision et Ingénierie des Contenus
Institut Pascal, Clermont Ferrand
Contexte
LA RÉALITÉ AUGMENTÉE
Augmentation d’objets 3D (petits environnements)
Aide à la navigation (grands environnements)
DiotaSoft-CEA
Estimation de la pose de la caméra (6DOF)
3 critères essentiels
Précision
Temps réel
Stabilité
wikitude drive
SLAM visuel
Déploiement.
Utilisation de données disponibles
et de capteurs standards, grand public et embarqués.
Pionneer cyber navigation
SLAM VISUEL
[ E. Mouragnon CVPR’06]
Initialisation
Localisation
Image
clé ?
oui
Enrichissement
de la carte
Ajustement de
faisceaux
SLAM
non
Etat de l’art: Le SLAM visuel
SLAM BASÉ IMAGE CLÉ : AVANTAGES ET LIMITATIONS
Localisation Stable
Minimisation d’une erreur de projection
multi vues d’une carte éparse de la
scène
Reconstruction non géo-référencée:
Localisation relative : par rapport au
repère initial de la caméra
Dérive sur les longues trajectoires:
Accumulations des erreurs.
Dérive du facteur d’échelle
(monoculaire):
Introduire des informations
supplémentaires permettant de
limiter ces dérives
Solution proposée: SLAM contraint
PRINCIPE DU SLAM CONTRAINT
Processus SLAM
Information sur la
trajectoire de la caméra
Localisation
Information
a priori
Reconstruction
Information sur la
géométrie de la scène
SLAM contraint
RÉALITÉ AUGMENTÉE SUR DES OBJETS 3D
Processus SLAM
Information sur la
trajectoire de la caméra
Localisation
Information
a priori
Reconstruction
Information sur la
géométrie de la scène
Modèle 3D
de l’objet
AF contraint
au modèle
[Tamaazousti CVPR’11]
SLAM contraint
LOCALISATION SUR DE GRANDS ENVIRONNEMENTS
AF avec
contraintes
d’inégalité
Processus SLAM
GPS
Information sur la
[Lhullier2012]
trajectoire de la caméra
GPS + MNT
[Larnaout2014]
Localisation
Information
a priori
[Larnaout2014]
Reconstruction
Information sur la
géométrie de la scène
Modèle 3D
des villes SIG
AF contraint
au modèle
[Lothe2010]
PLAN
1. Introduction
2. État de l’art: SLAM visuel
3. Réalité augmentée sur des objets 3D
1.
SLAM contraint au modèle
4. Réalité augmentée sur de grands environnements
1.
2.
Difficultés
SLAM contraint pour la localisation en ligne
1. Conclusion et perspectives
9
RÉALITÉ AUGMENTÉE SUR OBJETS 3D
•
•
Un objet connu : un modèle 3D d’un objet d’intérêt est disponible
Scène statique
Objet d’intérêt
Modèle 3D
géométrique
SLAM –CONTRAINT
: PRINCIPE GÉNÉRAL
contraintes
additionnelles
Objectif
•
Initialisation
SLAM ( localisation et cartographie de la
scène) avec :
Localisation
La géométrie multi-vues
Des contraintes liées aux modèle 3D
Solution proposée
•
Image
clé ?
MODELE 3D
oui
Enrichissement
de la carte
Ajustement de faisceau intégrant des
contraintes au modèle 3D
Résidus de l’AF classique
, ‖, ‖
∈
Résidus liés au modèle
non
contraintes
additionnelles
Ajustement de
faisceaux
SLAM
SLAM Contraint
| 10
Deux types de contraintes proposées pour :
• Contrainte sur les poses des caméras par projections de primitives du
modèles dans les images (AF contraint par segments)
• Contrainte sur les primitives reconstruites à appartenir à la surface du
modèle (AF contraint aux plans du modèle)
12
L’AJUSTEMENT DE FAISCEAUX CONTRAINT
PAR SEGMENTS
•
•
•
Extraction des contours francs du modèle 3D
Reprojection dans les images de l’ajustement de faisceaux
Contrainte sur les poses de la camera
, , ∈ ∈
Points 3D associés à l’environnement
Segments 3D extraits du modèle
∈ ∈
, . ",
# 13
AJUSTEMENT DE FAISCEAUX CONTRAINT
AUX PLANS DU MODÈLE
Classification des points 3D reconstruits en
•
•
Points de l’environnement
Points appartenant à l’objet d’intérêt
$ , , %
, ∈ ∈
Points 3D associés à l’environnement (3DOF)
Points 3D associés à l’objet d’intérêt (2DOF)
, #% % ∈ ∈
RÉSULTATS
SNCF
CONCLUSION
SLAM CONTRAINT AU MODÈLE
•
•
•
•
Précis (réduction de la dérive du SLAM)
Stable (pas de tremblement)
Localisation absolue (dans le repère de l’objet)
Robuste aux occultations partielles ou totales
• Video see through optical see through
[J. Braux 3DIMPVT’12]
[Besbes ISMAR’12]
• Perspective
•
Objets mobiles
RFIA’14
PLAN
1. Introduction
2. État de l’art: SLAM visuel
3. RA sur des objets 3D
1.
SLAM contraint au modèle
4. RA pour l’aide à la navigation
1.
2.
3.
Difficultés
SLAM Contraint au modèle et aux données capteurs
SLAM contraint pour la création automatique d’une base d’amers
1.
4.
Location par reconnaissance de points de vues
SLAM contraint pour la localisation en ligne
1. Conclusion et perspectives
Contexte et Problématique
LA RÉALITÉ AUGMENTÉE POUR L’AIDE À LA NAVIGATION
Qualité de la localisation
Estimation précise des 6DL de la camera
Utilisation des modèles 3D SIG
Google Earth, Google
Un contexte plus difficile
TerraExplorer, IGN
Modèles moins précis (uniquement les façades des bâtiments)
Ne contraint que 3 DOF de la caméra (Tx,Ty, lacet)
Dérive en altitude
Grands environnements avec trafic routier (des objets mobiles et des
occultations plus importantes liées à la végétation)
1ER APPROCHE :
SLAM contraint aux modèles 3D bâtiments + MNT [Larnaout et al 3DIMPVT’12]
1. Modèles de bâtiments:
• Façade plan
• Incertitude jusqu’à 2,5m
2. MNT:
• Route segment 3D
• Incertitude jusqu’à 2,5m
- Fragile lorsque peu de contraintes
fusion avec données GPS
géométriques sont disponibles
- Problème d’initialisation non résolu
SLAM
SLAM + bâtiments
SLAM + bâtiments +MNT
SLAM contraint : bâtiments + MNT + GPS
2 approches étudiées
1. Modèles de bâtiments:
• Façade plan
• Incertitude jusqu’à 2,5m
•
Localisation par reconnaissance de
points de vue
• Enjeux : création automatique
d’une bases d’amers
géoréférencés [Larnaout RFIA’14]
•
Localisation en ligne en combinant
SLAM, Modèles3D, MNT et GPS
2. MNT:
• Route segment 3D
• Incertitude jusqu’à 2,5m
3. GPS standard:
•
Fréquence ~1Hz
•
Incertitude ~5m
•
Données aberrantes
+ biais non constant
[Larnaout RFIA’14]
CONSTRUCTION D’UNE BASE D’AMERS GÉO RÉFÉRENCÉE
• Création d’une base d’amers 3D géo-référencés grande échelle
•
•
automatique
en quelques minutes
PERSPECTIVE
• Auto-déploiement : Véhicules e-connectés mise à jour
collaborative de la base
•
Fusion de bases : sur quels critères ? géométriques, photométriques,
saisons, heures ..?
LOCALISATION EN LIGNE
FUSION EN LIGNE
GPS différentiel basé sur les modèles des bâtiments
Principe:
Corriger localement les incertitudes des données GPS en exploitant les
modèles 3D des bâtiments.
Modèles d’incertitude du GPS (Chausse et al 2005)
Incertitude = biais + bruit Gaussien de faible amplitude
FUSION EN LIGNE
GPS différentiel basé sur les modèles des bâtiments
Schéma de l’algorithme
Bâtiments
SLAM avec contrainte d’inégalité [1] [2]
Algorithme
SLAM
Ajustement de
faisceaux
contraint
MNT
GPS
[1] M Lhuillier PAMI’12 : SLAM + GPS
[2] D. Larnaout et al VRCAI’13 : SLAM + GPS+ MNT
Reconstruction
SLAM géoréférencée
Correction
locale des
données GPS
FUSION EN LIGNE
GPS différentiel basé sur les modèles des bâtiments
Correction locale des données GPS
1.
Calcul la transformation
& (dans le plan)
2.
Calcul la transformation
& (dans le plan)
3.
Après l’ajustement de
faisceaux contraint
SLAM/MNT + GPS corrigé
vidéo
Conclusion et perspectives
FUSION EN LIGNE
LOCALISATION PAR FUSION EN LIGNE
CONCLUSION ET PERSPECTIVES
• Localisation en ligne par correction du biais GPS
•
SLAM contraint aux modèles SIG et au GPS simultanément
Bâtiments
Algorithme
SLAM
Ajustement de
faisceaux
contraint
MNT
GPS
Reconstruction
SLAM géoréférencée
Correction
locale des
données GPS
LOCALISATION PAR FUSION EN LIGNE
CONCLUSION ET PERSPECTIVES
• Localisation en ligne par correction du biais GPS
•
SLAM contraint au modèle SIG et au GPS simultanément
• Différents moyens de fusion de données au sein d’un SLAM basé
image clé
•
•
Contrainte dure : AF contraint au modèle/ MNT : suppose les données parfaites
Contrainte douce : AF avec contrainte d’inégalité [M Lhuillier PAMI’12] étendue au
GPS/MNT : permet de filtrer les données aberrantes
•
Perspective : prises en compte des incertitudes des données
AF pondéré [Eudes et al BMVC’10] permet d’intégrer au sein de l’AF des données extérieurs en
tenant compte des covariances
Guidage du piéton
•
Mouvements plus irréguliers (IMU)
MERCI POUR VOTRE ATTENTION
RFIA’14