Transcript détection - Master 2

Analyse de Scènes
D. Kachi
Master 2 ST-GEII
Faculté de Mathématiques et d’Informatique
2009-2010
Analyse de Séquences d ’images
I) Introduction
II) Détection du mouvement
III) Estimation du mouvement
Vue d'ensemble de la spécialité et domaines d ’applications
Bas Niveau
Acquisition
Traitement
d’images
Transmission, Compression
Rehaussement, Restauration
Détection contours, Segmentation
Suivi de formes
Analyse de séquences d’images
Stéréovision
Vision
Reconnaissance des formes
Compréhension de l’image.
Haut Niveau
Domaines d’Applications : la Télésurveillance
Intrusion
Trafic routier
Poursuite de cibles
Domaines d’Applications : la Télésurveillance
Intrusion
Trafic routier
Poursuite de cibles
Domaines d’Applications: la Robotique mobile
Déplacement dans des milieux hostiles
Reconnaissance et suivi de cible
Domaines d’Applications: la Robotique mobile
Déplacement dans des milieux hostiles
Reconnaissance et suivi de cible
Analyse des séquences
d’images
Analyse des séquences
d’images
L’illusion de mouvement dans la vidéo est créée par l ’affichage d’images successives (snapshots) avec une cadence assez élevée (typiquement 25 ou 30 images/sec).
Le nombre d’images par seconde dépend de la résolution spatiale de l’image (Cinéma, TV)
ainsi que de l’amplitude du mouvement.
L’Analyse de Mouvement désigne l’ensemble des méthodes visant à déterminer le
mouvement des objets dans une scène
Le traitement des séquences d’images en utilisant l’information de mouvement est appelé:
Compensation de Mouvement
Champ de mouvement: La projection de mouvement 3D des objets dans une scène, sur le
plan 2D des images
x
y
y
Plan image
x
z
Flux optique (Flot optique) : La trajectoire des pixels dans une séquence d’images
cube spatio-temporel
Y
ligne spatiotemporelle
X
plan spatio-temporel
T
PROBLEME INVERSE :
Extraire des caractéristiques physiques (i.e objectives)
de l’environnement
PROBLEME MAL POSE : à partir d’une information qui ne permet de les recouvrir que
partiellement
y
t
I(x,y)
x
Régularisation : Exploiter des connaissances a priori
I(x, y, t) : Système numérique
Détection de mouvement
BUT : Associer à chaque pixel de I une étiquette binaire [Fixe, mobile]
0
1
En fonction des changements temporels de I(x,y,t).
Quelles variations temporelles ?
Y(x,y,t)=|I(x,y,t)-I(x,y,t-t)|
Différence entre deux frames
Y(x,y,t)=|I(x,y,t)-Iref(x,y,t)|
Différence par rapport à une image de référence
Y représente un champ d’observation qui servira de base à la décision d’attribution de
L’étiquette 0/1
Idéalement :
 Y  0 Le pixel (x,y) est fixe

Y  0 Le pixel (x,y) est en mvt
Y 
I
t
Y
I
I
t

I 
I
Y 

tt 
t t1
!
!
Contraintes
(1) Caméra fixe
(1) Caméra bougeant lentement
(2) Eclairage constant
(2) Variation d’intensité basse fréquence
Difficultés
(1) Bruits de capteur (acquisition+numérisation)
(2) Zones homogènes ( luminance< )
0~=seuil >0
 Idéalement il faut un vecteur de mouvement pour chaque pixel
- trop complexe
 Sémantiquement il faut un vecteur de mouvement pour chaque objet
- méthodes de deuxième génération
 Pratiquement
un vecteur de mouvement pour chaque bloc de
taille 8x8 ou 16x16 pixels
 Mouvement affine :
- 9 paramètres : translation, rotation, agrandissement/réduction
- 6 paramètres dans le cas 2D
- complexe
 Mouvement translationnel
- 2 paramètres : translations horizontale et verticale
r
d  (dx ,dy )
Quelques hypothèses supplémentaires pour l’analyse du mouvement
• Pas d’occlusion
• Objets rigides
• Pas de changement d’illumination
• Continuité locale de mouvement
• Mouvement localement translationnel
Techniques de détection de mouvement
• Corrélation : très lente mais optimale
• Flots optiques : lent mais précis (sub pixel, mais
vitesse limitée)
• Contours en mouvements : robuste
(contours actifs + filtrage optimal)
• Lignes de niveaux (INRETS)
• Filtres de Gabor : lent mais précis (précision
réglable)
• Différence d’images : rapide mais bruitée
Différence d ’images

Valeur absolue de la différence
 interframe
 image
: It-It-1
de référence : It-Ir

Seuillage de cette différence

Différence avec une moyenne glissante
Exemple image de route
nocturne
Différence avec moyenne glissante +
gradient seuillé
Après une ouverture morpho
Exemples
taxi
ML0
ML0 + intervalle de confiance
soutraction
ML1
ML1 + intervalle de confiance
Avec image de référence
Seuil absolu=25
Problèmes

Niveau quantitatif
 trop
de pixel en mouvement (si seuil bas)
 complexité

Niveau qualitatif
 trop
peu de pixel (gestion complexe de l’intervalle
de confiance)

Solution : relaxation par champs de Markov
(MRF : Markov Random Fields)
Modélisation markovienne
Régularisation de problème mal posé
Injection de connaissance a priori
sur les données du problème
MODELISATION PROBABILISTE
La solution est la réalisation la plus probable
d’un certain phénomène aléatoire
3 questions
•Comment construire ce phénomène aléatoire ?
MODELISATION
•Comment obtenir des réalisations de ce phénomène ?
SIMULATION
•Comment obtenir la réalisation la plus probable ?
OPTIMISATION
36
Modélisation markovienne
Propriétés du modèle
CHAMPS DE MARKOV

Construction du modèle
CHAMPS DE GIBBS

Simulation
CHAINES DE MARKOV

Optimisation

- Déterministe
- Stochastique
ICM
RECUIT SIMULE
Propriétés du modèle Markovien
Un champ aléatoire X sur S à valeur dans V est défini par
X :   VS
Univers
Probabiliste
Notations :
Ens. des sites
(pixels)
Ens. des valeurs
(niveaux de gris)
Pour    ,
Pour s  S,
X : S  V réalisat ion d'un champ aléat oi
Xs : s  V variable aléatoire au pixel s.
Dans notre contexte de détection :
V={0,1}, ({fixe, mobile})
S=Z3 ou Z2xN (espace-temps discret)
Topologie et système de voisinage
La donnée d’une topologie sur S détermine les relations de dépendances entre les
variables aléatoires Xs
Topologie sur S
système de voisinage

 : S  P(S)

s   (s)
tq. qq soit (s,r )  S 
s   (r)  r   (s)
y
t
x
Topologie et système de voisinage
clique spatiale
s
s
clique temporelle
s
t-1
t+1
t
clique spatiale
s
clique temporell e
s
s
clique spatiotemporelle
s
t-1
t
t+1
Champs de Markov
X :   VS est un champ de Markov relat ivement au système
de voisinage
v ssi, pour tout s S,
P (X  x X  x ;r  s)  P (X  x X  x ;r  v(s))
s
s r
r
s
s r
r
Pb de détection :
On recherche la réalisation la plus probable d’un champ de Markov
dit « caché » X, à valeur binaire sur Z3, à partir d’un champ connu dit « observation »
Y, qui correspond à la séquence des différences d’images.
Remarque :
On a décrit ici une propriété fondamentale du modèle, mais pas de moyen explicite
de le construire.
Equivalence avec les champs de Gibbs
Champs de Gibbs
X :   V s est un champsde Gibbs, s' il existeune fonction
Uénergie : V s  , telque
1
PX = x   exp U x 
Z
Avec Z =  exp- Uy 
yV s
Mesure de Gibbs
Champs de Gibbs et topologie
Une mesure de Gibbs est dit e associée au syst ème de voisinage
v ssi
son énergie écrit
s'
pour t out x VS :
U (x)
V (x)
c
c C
C est l'ensemble des cliques dev
Vc (x) est dit e fonct ion pot ent iel qui ne dépend que des valeurs
x ssc
Théorème de Hammersley-Clifford
X :   V t el que, pour t out x V ,P X  x   0
s
s
X est un champ de Markov relat ivement à
X est champ de Gibbs relat ivement à V
J. Besag 1974
Théorème de Hammersley-Clifford
Conséquences :
On peut décrire un modèle de champ de Markov dans une topologie donnée en
spécifiant les potentiels attachés à chaque clique.
La donnée de la fonctionnelle d’énergie U permet de « prévoir » le comportement
du champ aléatoire puisque la réalisation est d’autant plus probable que l’énergie est
faible
Modèle pour la détection de mouvement
U
(
x
)
U
(
x
)

U
(
x
,y
)
m
a
U m ( x )    Vx ( s , r )

sS r
avec Vx ( s, r )    si x(s)  x(r)
   si x(s)  x(r)
Modèle de P ot t s
U a ( x, y ) 
1
( y ( s )   ( s ))

2 ²
avec  ( s )  0
U
(
x
)
:
énergie
du
modèle
m

sS
si x(s)  0
si x(s)  1
U
(
x
)
:
énergie
d'
attache
aux
données
a
Sémantique du modèle
U(x)  U m (x)  Ua (x, y)
U m (x)     sr

1
U a (x, y) 
2
(y(s)  (s))
sS
avec (s)  0
si x(s) 0
sS r 
 
si x(s) 1
Sémantique du modèle
On
sup
pose
:
1
P
(Xx) exp(

U
))
m(x
Z1
(caractère
markovien
de
X)
1
et: P(X
x/Y
y) exp(-U
y))
a(x,
Z
2
Avec
moyenne
de
Y;
²variance
de
Y
(mod
èle
de
bruit
liant
XetY)
(L'énergie
d'adéquation
assure
un
lien
significat
ifentr
lerésultat
etde
l'étiquetage
etles
données
d'
entrée.
)
Critère Bayesien du Maximum A Posteriori
Alors : arg minU(x)  arg maxP(X  x).P(Y y/X  x)
x
x
 arg maxP(Y y/X  x)
x
Simulation et chaînes de Markov
BUT : Une fois le modèle défini, on souhaite générer des réalisations
(échantillons de ce modèle)
PRINCIPE : Construire une série de champs aléatoires(Xn)nN , telle que
Optimisation
Champs de Markov




Théorie
 modèle de voisinage (clique, lien entre les sites)
 modèle d ’énergie et de potentiel (ex : spin up / spin down)
Principe
 minimiser l’énergie
homogénéiser les régions (ici, connecter les points)
Algorithmes stochastiques
 lent (complexe, beaucoup d’itération)
 converge vers le minimum global
Algorithmes déterministes
 rapides (simple, peu d’itération)
 converge vers le 1er minimum local
 importance de l ’initialisation
ICM
Recuit simulé
Algorithme du Recuit Simulé RS
Algorithme du Recuit Simulé RS (Suite)
Convergences
Introduction
Exemples de flot optique
Le flot optique
v.
I It 0
équation du flot optique
 fossé entre mouvement estimé par équation du flot optique et mouvement
réel
 détermination du mouvement problème mal posé :
problème d’ouverture : seule b, composante
du mouvement normale au bord, peut être
estimée
60/226
Méthodes d’estimation du flot optique



Techniques différentielles
Méthodes fréquentielles
Appariement par fenêtres
Les méthodes différentielles

fondées sur hypothèse d’intensité constante
I(x  v,t 1)  I(x,t)
I(x,t 1).v(x,t)  It (x,t)  O2
 Problème d’ouverture
 ajout de contrainte de lissage du flot optique :


flot optique constant sur un voisinage local
de
x

I
min W ( x)(I( x, t).v 
(x, t))2
t
x 
2
meilleure solution : la plus
régulière


 (I.v 
image
I 2 2
2
2
)   ( v1  v 2 )dxdy
t
Positionnement des techniques différentielles




coût de calculs faible
précise
estimation de déplacements de faible amplitude
mauvaise estimation du flot optique aux frontières des
objets = zones de discontinuités du mouvement
L’appariement par fenêtres

recherche de la meilleure correspondance entre des régions de deux
images consécutives par :
 maximisation d’un critère de similarité
 minimisation d’une distance
entre deux fenêtres de référence sur une zone de recherche
pixel (i, j) de l’image considéré
fenêtre de référence
ou de corrélation
zone de recherche
position translatée de la
fenêtre de référence
64/226
Positionnement de l’appariement par fenêtres





simple
possibilité d’estimer des déplacements d’amplitude
importante
problème en cas d’images bruitées, en présence
d’occultations, en cas de zones uniformes
coûteuse en temps de calculs
imprécise
Estimation du flot optique par appariement par fenêtres




simple
à l’origine des meilleurs résultats
pas fondé sur hypothèse d’illumination constante
intégration assez facile de l’information de couleur
difficile d’apprécier la justesse du flot optique estimé
image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade
66/226
Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à
partir d’images en niveaux de gris à gauche, à partir d’images en couleurs à droite
ICCV03-S07-P2-DIVX-MP3.avi
ICCV03-S03-P3-DIVX-MP3.avi