Modèles en Fusion d’Information

Systèmes de perception/ACCIS 1

Pourquoi la Fusion d’information ?

Pourquoi la Fusion d’information ?  estimation, décision, diagnostique MAIS les données sont incomplètes, imprécises, non parfaitement fiables...

 utiliser la complémentarité et la redondance entre informations pour affiner et robustifier les estimations/décisions ENCORE FAUT-IL que l’information de chaque soit représentée ‘correctement’  Distinguer la variabilité de l’ignorance Systèmes de perception/ACCIS 2

Exemple de problème de Fusion

Objectifs classiques en fusion  Synthèse de l'information Éviter la redondance lorsque plusieurs sources détectent le même phénomène Mise en commun des informations relatives à un même objet, une même variable et provenant de plusieurs sources (capteurs physiques, vs logiques)  Augmentation de la qualité de l’information  Préciser l’information Amélioration de l’estimation par recoupement d'informations provenant des différents capteurs (règle de type conjonctif !)  Robustifier l’information Certifier la consistance de l’information par recoupement d'informations provenant des différents capteurs (filtrage) Cas d’école: pistage Suivi des déplacements d'un objet au cours du temps Calcul de la position, vitesse, classe...

 Capteurs hétérogènes Les détections à fusionner proviennent de capteurs aux caractéristiques très différentes (portée, précision de la localisation, …)  Cadre de discernement homogène Chaque capteur n'a qu'une vue partielle de la zone à surveiller, mais les observations concernent les mêmes variables d’état Systèmes de perception/ACCIS

t

1 : Caméra visible

t

3 : Micro

t

2 : Pir

t

4 : Caméra IR 3

Pourquoi aller au-delà des probabilités ?

Origines de l’incertitude: variabilité des phénomènes aléatoires (tirages, etc...) Défaut d’information: incomplétude, ignorance Inconsistance des informations: conflit Ex. Lancer de dé, date de naissance...

2 types d’informations: tendances générales (cas typiques), cas particulier (observation directe éventuellement imprécise) Distinction de ces 2 types d’information en théorie des probabilités  probabilités fréquentistes versus probabilités subjectives  Paradoxes (instabilité, réfutation empirique...) Ex. Paradoxe de Bertrand, paradoxe d’Ellsberg Systèmes de perception/ACCIS 4

Panorama des théories de l’incertain

Théorie des probabilités (randomized points) Représentations ensemblistes (set-based representations) Logique floue Analyse par intervalles Probabilités subjectives Probabilités fréquentistes Théorie des possibilités (fuzzy (nested disjunctive) sets) Théorie des probabilités imprécises (upper-lower probabilities 

disjunctive convex sets

of probabilities) Systèmes de perception/ACCIS Théorie des fonctions de croyances (random disjunctive sets) Dempster Shafer, Smets 5

Modèles basés fonctions de croyances

• • • • • Modéliser l’imprécision et l’incertitude  croyance sur un ensemble disjonctif (intervalle...), Modéliser l’ignorance  croyance sur le cadre de discernement complet, Prendre en compte la non idépendence des sources (  règles de combination idempotentes), Détecter les sources/données aberrantes  sources (m(  ), etc.), … mesurer le conflit entre les  Exemple jouet en classification d’image Ground truth S 1 classif.

S 2 classif.

En modélisant les ambiguités entre classes S 1&2 classif.

S 1&2 classif.

C

1

C

3

C

2

C

1

C

2

C

3

C

1 

C

3

C

2

C

3 Systèmes de perception/ACCIS

C

1 

C

2 En modélisant l’imprecision spatiale  BF définis via les opérateurs de Math. Morph.

6 6

Décomposition du conflit (fonctions de croyances)

Roquel A., Le Hégarat-Mascle S., Vincke B., and Bloch I., "Decomposition of conflict as a distribution on hypotheses in the framework on belief functions", International Journal of Approximate Reasoning, in revision.

• Le désaccord entre sources classiquement mesuré par m(  ).

 Décomposition unique sur les hypothèses du cadre de discernement  chacun des termes de la décomposition est interprété comme la contribution au conflit Dempsterien.  Application au pb de la localisation  Exemple jouet en classification Identification de l’origine du conflit (ici erreur sur s de l’hyp. H 2 ) grâce à la décomposition proposée.

Birdview des trajectoires du robot estimées resp. par chacune des sources individuellement, ou par fusion des sources, ne prenant pas en compte ou prenant en compte la mesure proposée du conflit.

Systèmes de perception/ACCIS 7

Approche unifiée pour syst. de surveillance réparti

André C., Le Hégarat-Mascle S., and Reynaud R., “Smartmesh”.

•  Classiquement système de pistage inclus différents blocs fonctionnels (prédiction, association, mise à jour, gestion des pistes)  chaque sous-problème est alors traité selon son propre cadre de discernement.

Approche unifiée  cadre de discernement pavage 2D de la région Q = • • • • Représentation de l’information de localisation  consonantes réparties aux différents nœuds  bbas contrôle de la quantité d’information de la représentation Prise en compte d'éléments topographiques : Règle disjonctive versus règle conjonctive Association plots-pistes : Pour n associations recherchées, le cadre de discernement est Q 2n ; maximiser la plausibilité sur Q 2n tout en forçant la localisation à coïncider 

aˆ



arg max a

   

pl

Q  Q 2

n

    la fonction d’association â(.):  

i,

 1

...

n

   

arg max a

    

i n

  1 1 

m

             Mise à jour : Combinaison évidentielle des plots et pistes associés Systèmes de perception/ACCIS 8

ADAS : Estimation de la fatigue du conducteur

[1] National Highway Transportation and Safety Administration. An examination of driver distraction as recorded in nhtsa database, Sept 2009 Constat : D’après un rapport du NHTSA [1] , 20% des accidents (16% des accidents mortels) avaient pour cause une distraction ou un endormissement du conducteur .

Sources d’information potentielles  Observation directe du conducteur : Perclos (percentage of eyes closure)   Fréquence de clignement des yeux Durée de fermeture des paupières Environnement routier : Position et évolution du véhicule dans sa voie Style de conduite du véhicule : Fluidité, accélérations Combinaison d’informations directes et indirectes  très imprécises  Utilisation des fonctions de croyances Spécificités : 1- Certaines données sont dépendantes, d’autres non 2- Présence de conflit lorsque les sources se contredisent Modélisation de la fatigue Espace de discernement dérivé du modèle ORD Systèmes de perception/ACCIS Emission d’une alarme en cas de détection d’endormissement 9

Méthode multi-hypothèses par analyse par intervalles BESE : Bounded Error State Estimation

Intérêt : L’analyse par intervalle propose la caractérisation d’un ensemble solution garantie à partir de mesures et modèles à erreurs bornées. L’analyse par intervalle permet : L’extension aux intervalles des fonctions élémentaires La fonction d’inclusion [f] de f revoie un intervalle tel que

f

   

f

 

x

  .

   

D

 R ,

f

   x x Problème d’inversion de l’observation Cas ensembliste : caractérisation de l’ensemble X image réciproque de la fonction vectorielle f de Y

S

 

x

  

y m

   

y

  

, i

 1

...

n s

 x 2 ?

x 1 [ y m ]( [ x] ) Systèmes de perception/ACCIS 10

Propagation de Contraintes

Systèmes de perception/ACCIS Décomposition en contraintes primitives et propagation de contraintes 11

Fusion de données ensembliste (GPS, odomètre, gyromètre)

A. Lambert, D. Gruyer, B. Vincke, E. Seignez. "Consistent Outdoor Vehicle Localization by Bounded-Error State Estimation" IEEE International Conference on Intelligent Robots and Systems. Best Paper Award Finalist. 2009, p. 1211-1216.

Techniques probabilistes supposent des mesures sans biais Hypothèse non valide Inconsistance de la solution Technique alternative utilisant l'arithmétique intervalle et pour seule hypothèse un bruit borné

Etape de prédiction

: utilisation d'ImageSP

Etape de correction

: utilisation de SIVIA Systèmes de perception/ACCIS 12 12

Modèles en Traitement d’Images et Perception

Systèmes de perception/ACCIS 13

Quel traitement d’images ?

Pourquoi le Traitement d’images ?  capteur plus large spectre qui permette l’extraction de plusieurs paramètres physiques MAIS grande richesse en termes d’information  complexité, accès indirect…  traitement d’images orienté Vision, c’est-à-dire piloté par l’objectif  e.g. Objets attendus versus objets inattendus ENCORE FAUT IL définir un critère de détection des objets  Modèles versus significativité Systèmes de perception/ACCIS 14

Exemple de problème de traitement d’image

2 grands types de traitement d’images Cartographie  image interprétée en tant que carte… de profondeur (à partir d’une paire dimages stéréo), humidité de surface (à partir de télédétection SAR), des organes et tissus (à partir d’imagerie médicale), ... de label en classification...

 décider en chaque pixel la valeur du paramètre à cartographier, e.g. grandeur physique ou un label ‘Detection/identification’  image interprétée pour en déduire… les objets d’intérêt, les caractéristiques cde ces objets d’intérêt, … classification niveau objet, suivi d’objets…  détecter and caractériser les objets présents dans l’image ou la séquence vidéo Cas d’école: analyse de scène dynamique Segmentation statique/dynamique Cas de séquences vidéo, mono ou multicaméras   Caméra embarquée Estimation du mouvement (6dof) : Odométrie visuelle Problème d’optimisation en présence d’outliers  Modèle sur la partie statique Partie statique: dominante, consistante, structurée… Partie dynamique  complémentaire Systèmes de perception/ACCIS 15

Modèles de…..

Modélisation du bruit Approches basées modèle Procédures statistiques classiques: tests, analyse de la variance...

Modèles d’objets Modèles de caméras Approches a contrario Approches cumulatives (Modèles paramétriques) Modélisation tensorielle Systèmes de perception/ACCIS 16

Modélisation a contrario

Exemple de la détection d’alignement (Desolneux et al., 2000) 17  Principe de Helmholtz : « Toute structure trop régulière pour apparaître ‘par hasard’ attire l’attention et devient une perception »  Principe des méthodes a contrario : détecter une configuration en contredisant un modèle d’absence de structure (i.e. de bruit) dit naïf Détection des structures ‘trop régulières’  Mesure d’1 déviation (étonnement) / modèle de bruit   Soit E l'ensemble des événements, Pr la probabilité d'apparition d’un événement e de E. Pour tout e  E, on définit le Nombre de Fausses Alarmes tel que

NFA(e) = |E|.Pr(e)

et pour tout NFA(e)     0, e est dit  -significatif si Systèmes de perception/ACCIS Illustration du principe de Helmholtz. [Desolneux 2003] 17

Critère NFA



Problème de détection



Pb d’optimisation

Ammar M., Le Hégarat-Mascle S., Vasiliu M., and Reynaud R., "An A-Contrario Approach for Object Detection using Embedded Camera System", Pattern Recognition, submitted.

 Niveau pixel: N 1 : en l’absence de structuration, l’image différence (foreground-background) est un champ aléatoire de variables gaussiennes centré de variance s 2 Niveau fenêtre: N 2 : en l’absence de structuration, le nombre de points dans un pavé donné suit une distribution binômiale de paramètre p (a) (b) (e) (f) Systèmes de perception/ACCIS (c) (d) Example of detection (static camera case): (a) Absolute difference image between foreground and background images, (b) curves of log\(NFA (white  1 ) and d 2 versus cardinality of D (subdomain of amazingly consistent pixels), (c) result of detection at pixel level: 3 label image object, black  background), (d) result of detection at window level (medium window sizes), (e) curves of -log(NFA detection at window level (small windows).

2 ) versus cardinality of the window subset (amazingly dense windows), (f) result of 18

Critère NFA



Estimation de paramètres en présence d’outliers

Le Hégarat-Mascle S., Robin A., & Reynaud R., “Simultaneous Localization and Object Detection using an a-contrario approach”, ICVGIP’10, 2010.

19  Modèle naïf représente l’absence de données structurées  la détection d’une structure  ‘étonnement’ par rapport à D’AUTANT PLUS SIGNIFICATIVE que les paramètres cachés sont correctement estimés  SLOD (Simultaneous Localisation and Object Detection) : A partir d’1 base d’images ‘ancienne’, et d’1 nouvelle acquisition,  Estim. de (i) translation spatio-temporelle, (ii) transfo. des niv. de quantif., et (iii) du sous-domaine image / minimisent NFA ?

 Base d’ images ?

Estimation de l’égomouvement Val. NFA en fct de l’indice de l’im. dans base  observat ° d’1 minimum clair Systèmes de perception/ACCIS 19

Approches cumulatives

Exemple de la transformée de Hough 21  Principe: Les objets recherchés sont décrits à l’aide de fonctions simples modélisées par leurs paramètres (Ex.: segments de droites, arcs de cercles)  La transformée de Hough permet de passer de l’espace image à l’espace des paramètres pour rechercher dans cet espace les objets d’intérêt  Dans cet espace des paramètres, les objets d’intérêt sont des points et tous les pixels de l’image appartenant à un objet d’intérêt s’accumulent au point correspondant dans l’espace des paramètres aussi appelé espace cumulatif j p

M 0 (r 0 ,

j

)

/2

r

0 p j

r

0 /r = |cos ( j  )|

M(r,



) r

 j   Droite de paramètres (r 0 , j ) d’éq. r = r 0 .sec(  j ) 

r

0 = r.cos(  ).cos( j )+ r.sin(  ).sin( j ) 

r

0 = x.cos( j )+ y.sin( j ) Systèmes de perception/ACCIS 21

Identification de plans dans l’espace c-vélocité

Bouchafa S., Zavidovique B., “C-velocity: a Cumulative Frame to Segment Objects from Egomotion”, Pattern Recognition and Image Analysis, 19(4):583-590, 2009.

détection • par accumulation d’ ‘indices’, • dans un espace approprié.

Flot optique 

w

c-map

c w

Cas d’1 plan frontal Cas d’1 plan horizontal Cas d’1 plan latéral Systèmes de perception/ACCIS Espace de vote cumulatif Détection d’un plan latéral 22

Modèle de caméra



Modélisation du mouvement par contraintes multi-vues

Modélisation tensorielle • Analyse espace-temps (vision stéréoscopique) • Relations entre les amers observés (Point-line-point transfer) • Operateur de transfert quadrifocal (stéréo + temps) [Comport et al 07]  • • • Meilleur conditionnement (vs. M. fondamentale, mvmt suivant les lignes épipolaires) Non-linéarisation du mouvement (ex. flot optique) Simplification par la condensation de contraintes dans un operateur Systèmes de perception/ACCIS 23

Méthode robuste à la présence de données aberrantes

Segmentation d’observations en statiques (inliers) et dynamiques/aberrantes (outliers) • Relaxation de la contrainte d’absence d’outliers ou de détection de ces derniers pour ne pas les prendre en compte dans l’estimation  M-estimateurs Estimateur robuste : remplacer la minimisation de la somme des carrés des résidus, par une fonction des résidus (e.g.Hiber, Cauchy, Tukey, Geman) [Stewart 99]  minimisation d’un problème de moindres carrés pondérés  Estimation itérative de poids via un schéma d’estimation IRLS (iterative reweighted least squares)

Fonction de pondération

Illustration dans le cas de la régression linéaire Systèmes de perception/ACCIS 24

Application: Odométrie visuelle en milieu urbain Rodriguez, S. A., Fremont, V., Bonnifait, P., & Cherfaoui, V. “Multi-Modal Object Detection and Localization for High Integrity Driving Assistance”, Machine Vision Applications, 2011.

Formalisation de la solution proposée [ITSC 2009], [MVA 2012]

– Mesure du mouvement: » Points d’intérêt suivi au cours du temps – Mouvement prédit suivant les contraintes projectives : » Points d’intérêt projetés par l’operateur quadrifocal 

Fonction d ’ erreur

– Optimisation: méthode de descente de gradient (LM) Trajectoire de 700m Dérive sur le plan (2D) : 3.9% Dérive en altitude : 0.25% Trajectoire de 227m Odométrie multimodale Dérive 3D ~ 4m Systèmes de perception/ACCIS 26

Du point de vue du clustering des données aberrantes et des sources…

Approches cumulatives Méthodes robustes Approches a contrario Gestion des données aberrantes

Fusion de données

Systèmes de perception/ACCIS Inconsistance des informations: conflit 29