Transcript ppt presentation

Cartographie et Localisation
par vision monoculaire
Séminaire LAAS
29 juin 2006
Joan Solà et Thomas Lemaire
LAAS-CNRS
Toulouse, France
1
Cartographie et Localisation
par vision monoculaire
I.
Fondements du SLAM par vision.
Joan Solà
II.
Méthodes retardées. Expériences.
Thomas Lemaire
III.
Méthodes immédiats et ses extensions.
Perception en vision.
Joan Solà
IV.
Cartographie plus complexe.
Cameras panoramiques.
Thomas Lemaire
2
SLAM: de l’anglais, Simultaneous
Localization And Mapping
Exploration: Cartographie et Localisation
Perception
Estimation et Filtrage
Déplacement
Perception
Prédiction
SLAM
Mise en correspondance
Correction
Mesure
Correction
3
SLAM: de l’anglais, Simultaneous
Localization And Mapping
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
4
SLAM: de l’anglais, Simultaneous
Localization And Mapping
2
5
157
1
R
1
2
4
3
3
4
5
5
Vision Monoculaire vs. Stereo
Robustesse et compacité
Fragilité mécanique :
problèmes de calibrage
Observabilité 3D
à partir du mouvement
Observabilité 3D immédiate
(à distance limitée)
6
Le problème du monoculaire:
Initialisation des Amers
• L’approche naïve
?
tactuel
?
tprecedent
tactuel
Te
7
Le problème:
Initialisation des Amers
• Considération des incertitudes
?
Le point 3D
est dedans
tactuel
tprecedent
tactuel
Te
8
L'idée CLÉE
INITIALISATION
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
?
QuickTime™ and a
TIFF (LZW ) decompressor
are needed to see this picture.
retardée
<Davison 03>
...
[Lemaire 05]
Le dernier
membre
est facilement
incorporé
L’approximation
initiale
est facile
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
Initialisation
immédiate
[Kwok 04]
[Solà 05]
La sélection des membres
est facile et sûre
9
Définition du Rayon Géométrique
Remplir l’espace entre rmin et rmax
1. Avec le nombre minimal de termes
2. Tout en respectant les contraintes de linéarisation
r4
r3
Définir une série
géométrique de
Gaussiennes
4
3
 = i / ri
 = ri / ri-1
[ rmin
xR : position de la camera
rmax ]
10
Les bénéfices du Rayon
Géométrique
•
Facteur de forme, base géométrique et limites de distance

•

[rmin , rmax]
Le nombre de termes est logarithmique en rmax / rmin :
Ng = f( log(rmax / rmin)
•
•
1
On obtient des nombres très petits :
Scénario
rmin
rmax
Ratio
Ng
Intérieur
0.5
5
10
3
Extérieur
1
100
100
5
Longue portée
1
1000
1000
7
Les membres étant Gaussiens, ils sont facilement manipulables
avec FKE.
2
11
Comment ça marche
La première observation
détermine le Rayon Conique
12
Comment ça marche
J’approche le Rayon Conique
avec le Rayon Géométrique
C  1N
g

Je peux initialiser les membres maintenant :
J’obtiens une méthode immédiate.
13
Comment ça marche
Je me déplace et réalise
une deuxième observation
Je peux distinguer les membres dans l’image
14
Comment ça marche
Je calcule vraisemblances
et actualise crédibilités
C  C  

z Z 1  z

2
  2 1 Z e
C’est comme modifier la forme du rayon

15
Comment ça marche
J'élimine les membres
invraisemblables
C
0.001
nombre_ de _ termes

C’est une opération triviale et conservatrice
16
Comment ça marche
Avec des méthodes
immédiates je peux
corriger la carte SLAM
17
Comment ça marche
Je continue...
18
Comment ça marche
Et un jour il ne restera
qu’un seul membre.
Ce membre est déjà Gaussien!
3
Si je l’initialise maintenant j’ai une méthode retardée
19
immédiates
retardées
Méthodes retardées
et immédiates
• Plus simples à implémenter.
• L’information issue des observations
partielles n’est pas utilisée immédiatement.
• Plus de difficultés mathématiques et
algorithmiques.
• Les observations des amers contribuent au
SLAM dès le début.
20
Observabilité:
Trajectoires non contraintes
min
21
Trajectoires fortement contraintes :
Méthodes retardées et immédiates
immédiates
retardées
immédiates
retardées
immédiates
min
22
Thomas
23
Méthodes retardées
et immédiates
immédiates
retardées
immédiates
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
retardées
immédiates
retardées
immédiates
QuickTime™ et un
retardées
décompresseur H.264
sont requis pour visionner cette image.
immédiates
24
Troisième partie
• Aspects mathématiques et algorithmiques
pour l’initialisation immédiate
• Perception pour le SLAM par vision
• Extensions des méthodes:
– Objets mobiles dans la scène
– Auto-calibrage pour la Stéréo
25
immédiate
L'algorithme du Partage Fédératif
de l’Information (PFI)
1. Initialiser les membres comme des amers différents
dans la même carte SLAM
2. Lors des observations postérieures :
•
•
Actualiser les crédibilités et éliminer les mauvais membres
Effectuer une correction fédérée
3. Quand il ne reste qu’un membre:
•
Rien à faire
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
26
L'algorithme PFI
•
La Correction : un moment délicat
immédiate
– Une observation / multiples hypothèses
•
Si je corrige plusieurs fois : inconsistance
•
Si je corrige sur la mauvaise hypothèse : divergence
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
?
27
L'algorithme PFI
•
La Correction Fédérée : Partager l’Information
– N hypothèses à corriger
correction sur membre 1
{y, RN }
correction sur membre N
correction sur membre 2
…
Observation {y, R}
{y, R1 }
{y, R2 }
…
immédiate
– Observation y avec bruit de covariance R : information R-1
Partage de l’Information:
Privilège des vraisemblances:
Coefficient Fédératif i :
28
Perception :
recherche active
•
Observation initiale d’un amer
–
Sur un point d'intérêt, point de Harris
–
Enregistrer une imagette comme descripteur,
15x15 pixels
•
Observations ultérieures
–
Projeter tous les amers de la carte sur l’image avec
ses ellipses d’incertitude
–
En sélectionner ceux avec ellipses de majeure
surface
–
Ajuster la taille et rotation de l’imagette selon les
informations de profondeur et orientation de l’amer
contenues dans la carte
–
Réaliser une recherche dans l’ellipse par maximum
de corrélation
–
Récupérer le pixel gagnant comme mesure de l’amer
29
L'algorithme PFI
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
30
Extensions
• Détection et suivi d’objets mobiles
– Besoin d’observabilité totale : revenir sur la stéréo
• Auto-calibrage d’un banc stéréo
31
Thomas
32