Transcript CoursIndexVideo4

Laboratoire Bordelais
de Recherche
en Informatique
4. Descripteurs du contenu

Le descripteurs les plus fréquemment utilisés :


13/04/2015
Descripteurs invariants aux transformations affines
autour des points caractéristiques : « coins de
Harris », DOG – Lowe et al.
Descripteurs normalisés ( MPEG7 )
Laboratoire Bordelais
de Recherche
en Informatique


Descripteurs SIFT (D. Lowe 2004) -1
SIFT = scale invariant feature transform
Problème : détecter les points caractéristiques et proposer les
descripteurs invariants par rapport aux transformations affines du
plan – image et de la liminance.
 x y 
2
L( x, y,  )  G( x, y,  )  I ( x, y) (1)

G( x, y,  ) 
1
2 2
-est le paramètre d’échelle
Mokolajczyk (2002) a montré que les points les plus stables
sont obtenus comme extremums de  22G  I
Laplacien de Gaussienne d’une image
DOG( x, y,  )  D( x, y,  )  L( x, y, k )  L( x, y,  )
13/04/2015
e
2


 2 2 


(2 )
Descripteurs SIFT (D. Lowe 2004) -2
Laboratoire Bordelais
de Recherche
en Informatique

DOG est une bonne approximation de
 22G

Considérons


G ( x, y, k )  G ( x, y,  ) 
Alors
Par ailleurs
G
(k  1)

G
1
x2  y2
2
2
2

x  y  2 exp(
)
 2 5
2 2



k        k  1

 x2  y 2 
 2G  2G
1 2 2
2

 G 2  2 
x  y  2 exp 
6
2 
x y 2
 2 

2
13/04/2015


(3)
(4)
(5)
Laboratoire Bordelais
de Recherche
en Informatique
Descripteurs SIFT (D. Lowe 2004) -3

De (4) et (5) :
 2G 


G

(6)
Finalement de (3) et (6):
2
G ( x, y,  )
G ( x, y, k )  G ( x, y,  ) 
(k  1)  (k  1) 2 2G ( x, y,  )


DOG déjà comporte la
normalisation requise pour Laplacien
inv. à l’échelle. Le facteur (k-1) est constant pour toutes les
échelles et n’influence pas la localisation des extremums
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Calcul de la DOG


Convoluer I avec G
progressivement pour
produire L séparées par k
dans l’espace - échelle
Une Octave  ,2 est divisée
en s intervalles,
1
 ,2  ,2 2  ,...,2
k  2s
Echelles adjacentes
1/ s

1/ s
1/ s
DOG:
D( x, y, i )  L( x, y, k i )  L( x, y,  i )


Sous-échantillonnage de
facteur 2
13/04/2015
 ,2
Laboratoire Bordelais
de Recherche
en Informatique

Détection des extremums locaux
Un point est retenu si DOG est minimale ou maximale parmi 26
voisins

Choix du paramètre d’échelle

valeur   1,6
(Lowe[2004])
L’échelle s est affectée
au point
13/04/2015
 ,2
Laboratoire Bordelais
de Recherche
en Informatique
Filtrage le long des contours (1)

Un faible pic de DOG (qui correspond au contour) aura une forte
courbure dans la direction orthogonale au contour et une fable
courbure dans la direction orthogonale.
 Dxx
H 
 D yx


Les valeurs propres
, 
Dxy 
D yy 

Matrice Hessienne
de H sont proportionnelles aux courbures
principales de D au point considéré.


Soit   r
avec 
- la valeur propre maximale (
r 1
 ,  sont les racines du polynôme caractéristique det(H  I ) , alors
  Det(H )
13/04/2015
    Tr (H ),
)
Laboratoire Bordelais
de Recherche
en Informatique
Filtrage le long des contours (2)

Finalement
     r  1
Tr H 

DetH 

r
2

2
2
Exclusion du point si
Thr  1
Tr H 

DetH 
Thr
2
13/04/2015
2
Laboratoire Bordelais
de Recherche
en Informatique
Résultats de la détection
Image1
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Résultats de la détection
Image10
13/04/2015
Affectation de l’orientation
Laboratoire Bordelais
de Recherche
en Informatique


Objectif : obtenir l’invariance du descripteur par rapport à la
rotation en compensant par rapport à l’orientation locale
For each sample of the image L(x,y) at a given scale compute :



Amplitude du gradient : m( x, y)  L( x  1, y)  L( x 1, y)2  L( x, y  1)  L( x, y 1)2
Angle d’orientation :  ( x, y)  arctanL( x, y  1)  L( x, y 1) /L( x  1, y)  L( x 1, y)
Histogramme d’orientations et calculé dans le
voisinage du point caractéristiques (36 orientations :
360/10). h( )  h( )  m(x, y)Gx, y, x , y 1,5 , i  1,..,36
i

i
0
0
s
Points multiples : l’histogramme contient plusieurs modes
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteur local autour du point caractéristique (1)





Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16
pixels);
Claculer l’amplitude du gradient et l’orientation en chaque point de la région,
pondérer l’amplitude avec une Gaussienne (cercle)
Diviser en blocs de taille 4x4 et calculer l’histogramme d’orientation pour
chaque bloc (8 orientations);
Pondérer chaque contribution dans un bin par l’amplitude lissée du gradient
Interpoler les histogrammes
13/04/2015
Descripteur local autour du point caractéristique (2)
Laboratoire Bordelais
de Recherche
en Informatique




Le descripteur X est un vecteur des histogrammes 4x4
concaténés dim(X)=4x4x8=128
« Tourner » le descripteur X par rapport à l’orientation du point
caractéristique pour obtenir l’invariance par rapport à la
rotation
Normaliser : X  X / X
- invariance par rapport aux transformations affines de la
luminance
13/04/2015
Comparaison des descripteurs ( contexte de recherche des
images/vidéos)
Laboratoire Bordelais
de Recherche
en Informatique
Pour chaque point caractéristique dans l’image-requête
et tous les points caractéristiques dans la BD
calculer
 N
d X Q , X DB     xQi  xDBi
 i 1




2
1/ 2



Soit p1 le PPV de Q et p2 le second PPV de Q
Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le bon «
correspondant »


Activer le mécanisme de vote,….
Groupement basé sur les appariements….
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Mise en correspondance


-Application à la recherche des images (mais aussi reconnaissance des
images vidéos similaires, groupement des clips etc)
Plusieurs méthodes :






13/04/2015
par exemple, pour chaque descripteur de l’image – requête trouver le
meilleur correspondant dans la BD et regrouper les images
correspondantes.
Soient p1 premier plus proche voisin d’un point-clé de l’image
requête et p2 son second plus proche voisin, alors
D(p1 )< D(p2) x seuil , seuil appartenant à ]0 … 1] – bon
appariement
Activer le mécanisme de vote,….
Groupement basé sur les appariements….
Laboratoire Bordelais
de Recherche
en Informatique
Descripteurs normalisés MPEG7




Descripteurs
Descripteurs
Descripteurs
Descripteurs
13/04/2015
de la couleur;
de la texture;
de la forme des objets;
du mouvement;
SURF (speed-up robust features)(1)
Laboratoire Bordelais
de Recherche
en Informatique

Points caractéristiques : max de det de Hessian blobs
L-convolution de l’image avec la dérivée seconde d’une
Gaussienne
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
SURF (speed-up robust features)(2) H.
Bay et al.

Image intégrale
C-B-D+A

Calcul rapide de convolution
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
SURF (speed-up robust features)(3)
Augmentation de taille de filtre au lieu de
changement de l’image pour la détection à
différentes échelles
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Exemples de détection
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Régions de calcul du descripteur.
Calcul de l’orientation à la base des Ondelettes
de Haar
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteur
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteurs de la couleur en MPEG7 (1)



Color structure descriptor : exprime la structure locale de
la couleur dans l ’image
Calcul : soit
c0 , c1 ,..., cM 1
M couleurs quantifiées.
L ’histogramme de la structure couleur est dénoté par h(m),
m=0,1,…,M-1 où la valeur dans chaque bin représente le
nombre d ’éléments structurants dans l ’image contenant
cette couleur.
Si la taille de
l ’image > 256x256 un souséchantillonnage de
facteur de 2 est
effectué.
13/04/2015
Elément structurant :
bloc 8x8 glissant
d ’un pixel.
Laboratoire Bordelais
de Recherche
en Informatique
Système couleur et quantification
Quantification de la couleur (HMMD - HS) en 32, 64,
120, 184 couleurs HueMaxMinDiff
Blanc
Intensité (sum)
Degré de blanc (min)
Chroma
(diff)
Couleur Pure
Degré de noir
(max)
Noir
Hue - le même que dans HSV
Max=max(R,G,B), Min=min(R,G,B)
13/04/2015
Diff=Max-Min, Sum=(Max+Min)/2
Laboratoire Bordelais
de Recherche
en Informatique
Descripteurs de la couleur en MPEG7 (2)

Dominant color descriptor : l ’ensemble des couleurs
dominantes dans la régions d ’intérêt ou dans l ’image
entière fournit une description compacte facile à indexer.
F  ci , pi , vi , s, (i  1,2,..., N )
ci
- ième couleur dominante
pi
vi
- pourcentage dans l ’image
s
13/04/2015
- variance couleur;
- mesure de cohérence spatiale
(nombre moyen normalisé des pixels
connexes de même couleur dans un
voisinage 3x3).
Laboratoire Bordelais
de Recherche
en Informatique
Calcul du DCD – Split-LBG




K=2n
Nombre de classes final fixé à priori
Méthode :
1. Initialisation : tirage aléatoire des centres
D  c1,..., cM  A
de M<K classes (M=2)





2) « Split » de D :

A  a ,..., a
(1)
n 
ci  ci   , ci   
3) LBG
a - affectation C (a j )  Arg min d (a j , ck ), ck  Di
k

b - calcul du nouveau centroïde de chaque classe : g k 

c - calcul de la distorsion




T 
i i 1
E   d aik , ck 
k
i
si
alors arrêter sinon (3)
E I  E I 1
4) Arrêt si K classes sinon retour en (2).
13/04/2015
1
 al
N k al Ck
Laboratoire Bordelais
de Recherche
en Informatique
Descripteur Color Layout

Color Layout Descriptor : représentation compacte de la distribution
spatiale des couleurs dans l’image, indépendante de la résolution.

Calcul :
 - Partitionner image de taille MxN en 64 blocs (8x8).
 -Calculer la valeur représentative (moyenne) par bloc
 Calculer la DCT sur l’imagette des valeurs représentatives
CLD  DYi , DCrj , DCbj , i  1,...,m, j  1,...,n

Coefficients DCT de luminance

Coefficients DCT de chrominance rouge

Coefficients DCT de chrominance bleu

m = 6, n = 3 par exemple
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Calcul du descripteur
64(8x8) blocs
image
Partitionement
Calcul des
couleurs
représentatives
Cr
Cb
Coefficients Y
CLD
13/04/2015
Zigzag Scan
DCT
Laboratoire Bordelais
de Recherche
en Informatique
Exemples de CLD
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteurs du mouvement







Activité de mouvement :
traduit la notion intuitive de l ’intensité d ’action dans
un segment d’une vidéo
Attributs :
- intensité de d ’activité (l ’attribut principal)
- direction d ’activité (la direction dominante parmi 8
possibles)
- distribution spatiale de l ’activité (indication sur la
taille et quantité des régions actives dans une scène
vidéo)
- distribution temporelle de l ’activité
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Activité du mouvement
Corrélation avec l ’amplitude des vecteurs du
mouvement dans la séquence
Valeur d’Activité
1
2
3
4
5
Dynamique de l’ecarttype des vecteurs de
mouvement
0    3,9
0    10 ,7
10 ,7    17 ,1
17 ,1    32
32  
Intensité d ’activité : mesure qualitatives selon l ’échelle
1..5 (très faible, faible, moyenne, forte, très forte
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteur du mouvement des objets (1)
13/04/2015
Laboratoire Bordelais
de Recherche
en Informatique
Descripteur du mouvement des objets (2)
Modèle de trajectoire : approximation du premier ou
second ordre par morceaux.
Ensemble des points-clés : coordonnées du centre de
gravité de l ’objet (2D ou 3D);
f t   f a  va t  ta 
ou
f  fa 1
1
 aa tb  ta 
f t   f a  va t  ta   aa t  ta 2 va  b
tb  t a 2
2
aa
va , a a
f a , fb
13/04/2015
-paramètre d ’interpolation
- la vitesse et l ’accélération de l ’objet
- positions en temps ta et tb