Transcript Suivi multi-cibles
Problématique de suivi multi-cibles polygonales par perception laser de l’environnement : résolution directe dans un cadre PHD par filtrage non linéaire et application au suivi de véhicules.
Benoît Fortin 25 novembre 2014
Sommaire
I.
Présentation et introduction II.
La problématique du suivi dans les données LIDAR à balayage Cadre de résolution classique La problématique du suivi-multi cibles Le détecteur SIP comme processus de partitionnement III. Approche track-before-detect Objectif Méthode particulaire dans un cadre PHD Fusion de données dans un système multi-capteurs (centralisée / distribuée) IV. Conclusion et perspectives 2
Présentation
Parcours doctoral et post-doctoral :
Thèse de doctorat effectuée au sein du Laboratoire d’Informatique, Signal, Image de la Côte d’Opale, équipe « Systèmes de Perception et Fusion d’Informations » sous les directions de Jean Charles NOYER et Régis LHERBIER
Méthodes conjointes de détection et suivi basé-modèle de cibles distribuées par filtrage non-linéaire dans les données lidar à balayage
* Bourse ministérielle, soutenue le 22 novembre 2013, mention très honorable * Qualification MCF CNU 61 obtenue à la session 2014
ATER (CNU 61) → continuité des travaux de thèse en termes de publications et méthodes de fusion de données Enseignement au cours des 4 dernières années : 376h en Université, Ecole d’Ingénieurs, Institut Universitaire Technologique (perception multi-capteurs, traitement de signal, initiation à la programmation, réseaux de capteurs coopérants, mathématiques, logique combinatoire et séquentielle,…) Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect »- Conclusion et perspectives 3
Introduction
Contexte
: détection et suivi multi-cibles : applications transport / transports intelligents perception de l’environnement par différents capteurs : lidar, radar, sonar, caméras, … déplacement autonome de véhicule, platooning, aide au parking…
Cadre théorique
: Détection et suivi d’objets multiples polygonaux dans des systèmes de perception multi-capteurs
centrés autour d’un télémètre laser à balayage embarqué
Détection et suivi de cibles étendues dans des données distribuées Théorie du filtrage particulaire et cadre Probability Hypothesis Density (PHD) Fusion de données multi-capteurs
Cadre applicatif
: Suivi de véhicules en mouvement dans une zone d’observation (route) Systèmes d’assistance au conducteur (ADAS) / Sécurité dans les transports Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect »- Conclusion et perspectives 4
Introduction
Données télémétriques à balayage :
Avantages :
Large champ de vision Mesures précises de distance Fréquence élevée de mesure
n
mesures télémétriques en coordonnées polaires dans un intervalle angulaire selon une résolution angulaire et dans un intervalle de distance → cibles étendues → mesures distribuées Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect »- Conclusion et perspectives 5
LA PROBLÉMATIQUE DU SUIVI DANS LES DONNÉES LIDAR À BALAYAGE
Cadre de résolution classique
Architecture d’un système classique de suivi d’objets dans des données télémétriques :
Cibles étendues Cibles ponctuelles
Mesures distribuées Détection Association Processus de suivi Prédiction Gestion de pistes Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 7
Cadre de résolution classique
Mesures Détection Association Processus de suivi
1. Modèle de dynamique
l
=
probabilité de saut
2. Modèle d’observation
Exemple : Z est une mesure du centre de gravité Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 8
Problématique du suivi multi-cibles : filtrage particulaire
Objectif : Approximation discrète de cette densité en générant N v.a. i.i.d selon cette loi Passage par une densité d’importance selon laquelle il est possible d’échantillonner avec Initialisation Prédiction Pondération Estimation Rééchantillonnage Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 9
Problématique du suivi multi-cibles
Suivi multi-cibles : → J cibles à estimer → M observations disponibles (avec fausses alarmes et clutter) → problème d’estimation d’un système à dimensions variables Détecteur
2 solutions
Processus de suivi Décomposition de l’espace d’état en sous espaces et considération individuelle de l’état de chaque cible → quelles sont les mesures qui entrent dans le filtre pour chaque cible ?
Modélisation du problème sous forme de l’estimation d’une loi multimodale → identification des modes
a posteriori
d’une cible pour connaître l’état Joint Probabilistic Data Association (JPDA) Multiple Hypothesis Tracking (MHT) Probability Hypothesis Density (PHD) Cardinalized PHD Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 10
Cadre de résolution classique : les mesures
Première étape clé des systèmes de suivi : Mesures distribuées Détection Association Processus de suivi Mesures Clustering (optionnel) Extraction primitives (segments) Modélisation (centres de gravité) Informations Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 11
Cadre de résolution classique
(1)
Clustering
→ seuil fixe → seuil adaptatif lié à la distance inter-impacts (3)
Modélisation
→ conversion des primitives en paramètres exploitables pour le processus de suivi (2)
Segmentation
→ utilisation coordonnées cartésiennes → dépendance à la distance inter-impacts → nécessite le calcul des équations de droites Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 12
Le détecteur SIP : Segmentation using Invariant Parameters
Contraintes
: → description minimale de l’environnement sans perte de qualité (en termes de précision, de fausses alarmes et de non-détections) → robustesse aux outliers (points aberrants)
Objectifs
: → utiliser la structure des données (balayage, résolution angulaire) par la mise en évidence d’un invariant géométrique → s’affranchir de la distance inter-impacts → utiliser les mesures brutes issues du capteur (pas de changement de repère polaire – cartésien) Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 13
SIP : mise en évidence d’un invariant géométrique
Pour 2k+1 points consécutifs alignés avec i l’indice du point central : Dans le cas idéal :
Équation de droite polaire
: Dans le cas de mesures bruitées : appartiennent à la même droite si : avec Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 14
SIP comme technique de partitionnement
Exemple d’une fonction cumulative pour un objet rectangulaire (sans bruit)
→ Réécriture de l’équation de mesure en utilisant la fonction cumulative: fortement non linéaire Introduction – Le suivi dans les données LIDAR – Approche « track-before-detect »- Conclusion et perspectives 15
APPROCHE TRACK-BEFORE-DETECT
Mesures Agrégation Suivi
Introduction
Architecture finale recherchée
: Mesures Processus d’agrégation (hypothèse : modèle polygonal) Suivi
Avantages
: • Pas d’extraction de segments • Réduction des problèmes de fausses alarmes / non détections → processus de suivi moins perturbé
Difficultés
: • Cibles distribuées étendues • Processus d’agrégation exploitable pour le processus de suivi • Gestion de l’aspect multi-cibles • Modélisation de l’espace d’observation fortement non-linéaire • Prise en compte des mesures brutes issues du capteur Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 17
Suivi basé-modèle de cibles distribuées
Idée
: intégrer le modèle d’objet à suivre directement dans le processus de suivi
Les modèles
:
1. équation de dynamique : classique ou augmentée avec les dimensions du modèle polygonal 2. équation d’observation :
cibles ponctuelles Modèle de forme cibles étendues
H fortement non linéaire Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 18
Suivi multi-cibles par approche PHD
Le filtrage Probability Hypothesis Density
Objectif
: estimer conjointement : le nombre de cibles à chaque instant ainsi que leur état par la considération complète de la densité de probabilité multimodale
a posteriori Avantage par rapport aux méthodes usuelles (JPDA, MHT)
pas d’association cible / mesure : gestion automatique des pistes (processus de naissance/mort)
Limites dans sa version initiale
: aucune notion de trajectoire résultats conditionnés par un algorithme de clustering forte dépendance aux non-détections, fausses alarmes et clutter Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 19
La théorie RFS
► Les états et les observations sont regroupés dans deux « Random Finite Set » : et ► RFS: un ensemble fini de variables aléatoires dont la cardinalité et les éléments sont des variables aléatoires : ► une densité de probabilité pour la caractérisation de la cardinalité ► une densité appropriée pour la caractérisation de la distribution conjointe des éléments ►les méthodes de suivi multi-cibles ont besoin de la connaissance de la densité de probabilité ►la théorie « Finite Set Statistics » (FISST) fournit des techniques pour formuler des équations liées à l’utilisation des RFS pour le problème de suivi multi-cibles dans un cadre bayésien [Mahler97] Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 20
La théorie RFS pour le suivi multi-cibles
► Le modèle RFS multi-cibles des états inclut les dynamiques individuelles, les modèles de naissance, mort, dédoublement et incertitudes d’évolution → évolution d’un RFS dans le temps (sous hypothèse Markovienne): Fonction de transition RFS associé aux nouvelles cibles (créées ou dédoublées) ► le modèle RFS des observations inclut la vraisemblance, l’incertitude sur la détection de la cible par le capteur et le clutter : Fonction de mesure Le RFS du clutter → la génération de à partir de est modélisé par Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 21
Le filtrage bayésien multi-cibles
► les incertitudes sont caractérisées par : → densité de probabilité de transition multi-cibles → vraisemblance de mesure multi-cibles l’utilisation des FISST permet de construire ces densités à partir des modèles physiques des capteurs, des dynamiques individuelles, de la mort/naissance des cibles ► formulation récursive de la densité multi-cibles a posteriori → prédiction à partir de → mise à jour : Calcul analytique impossible généralement→ approximation de la densité a posteriori par son premier moment : la fonction Probability Hypothesis Density (PHD) Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 22
Suivi multi-cibles par approche PHD
Propriété de la fonction PHD
: sur un sous-ensemble [Vo07] Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 23
Suivi multi-cibles par approche PHD
Hypothèses
: • Chaque cible évolue et génère des observations indépendamment • Le RFS clutter est poissonnien et indépendant des observations générées par les cibles • Le RFS multi-cibles est poissonnien et donc entièrement caractérisé par son premier moment (fonction intensité) Prédiction modèle dynamique mono-cible fonction intensité de naissance fonction intensité des cibles dédoublées Correction vraisemblance probabilité de détection de la cible fonction intensité du clutter Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 24
Filtre IP-SMC par approche PHD
Objectif
: suivi basé-modèle de multiples cibles étendues → insertion dans un cadre PHD
Proposition d’un filtre particulaire IP-SMC-PHD :
1. Initialisation
:
2.
Prédiction
: évolution des particules selon une distribution d’importance
3.
Création
des particules exploratrices :
4. Correction
: Données télémétriques : → Accumulateur : → Impacts médians : Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 25
5.
Rééchantillonnage :
Estimation du nombre de cibles : redistribution 6.
Estimation
de l’état des cibles par extraction des pics de la fonction PHD (k-means) 7.
Trajectographie
: → indexation des particules pour obtenir la notion de pistes 1 piste = 1 index à propager dans le filtre et retrouvé à l’issue du clustering → gestion automatique des occultations et des défaillances du capteur en développant une « mémoire » pour la conservation de pistes aucune mesure ne correspond à une piste indexée = exclusion du processus de pondération Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 26
Expérimentations sur données synthétiques
Scénario routier :
3 véhicules, capteur LRF avec une précision de 3cm, fréquence d’acquisition à 10 Hz Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 27
Filtre IP-SMC PHD : évaluation sur données réelles
• • • •
Fusion multi-capteurs : Lidar GPS Données cartographiques Centrale inertielle
(Sources : Séquences Mines Paris Tech - CAOR, Fawzi Nashashibi)
Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 28
Fusion multi capteurs centralisée
29
Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » - Conclusion et perspectives 30
Fusion distribuée
31
Conclusion
Développement d’approches basées-modèles (polygone) track-before-detect pour la résolution conjointe du problème de détection et suivi dans un système multi-capteurs • Aucun traitement sous-optimal des données brutes (transformation en accumulateur) • Modèle d’objet intégré pour la reconstruction des scènes télémétriques et cible représentée sous sa forme d’accumulateur 1. Gestion dans un cadre multi-cibles PHD (IP-SMC-PHD) / approche « mémoire » labellisée 2.
Généralisation dans un système de perception multi-capteurs Gains importants en précision d’estimation / cardinalité Robustesse à la taille du modèle (données réelles) / outliers Augmentation de la durée de suivi et de la précision dans le cas multi-lidar Faisabilité du suivi dans un système multi-capteurs (lidar, GPS, SIG, INS) Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » Conclusion et perspectives 32
Travaux en cours / Perspectives
1.
Estimation dynamique des dimensions du modèle 2.
Généralisation du cadre PHD pour des modèles dynamiques différents (piétons, voitures, camions,…) 3.
Développement dans un autre cadre : fonctions de croyance ? Impact sur la vraisemblance dans le cadre PHD ?
4.
Généralisation de l’invariant géométrique pour le cas piéton (ellipse ? )
Introduction – Le suivi dans les données LIDAR– Approche « track-before-detect » Conclusion et perspectives 33
Publications
2 revues internationales avec comité de lecture :
IEEE Intelligent Transportation Systems, 2013. (accepté en nov. 2014 - Impact Factor 5-Y : 3,26) ; IEEE Transactions on Vehicular Technology, Nov. 2012. (Impact Factor 5-Y : 2,06).
7 conférences internationales avec comité de lecture :
International Conference on Information Fusion (FUSION) (2013 & 2014) IEEE Asilomar Conference on Signals, Systems and Computers (2010 & 2014) IEEE International Systems Conference (Syscon) (2013) IEEE International Instrumentation and Measurement Technology Conference (I2MTC) (2012) Numerical Analysis and Scientific Computation with Applications (NASCA) (2013) Benoît Fortin - [email protected]