Transcript Soutenance_These_Herve_Goeau_25_05_09

Structuration de collection d’images
par apprentissage actif crédibiliste
Hervé Goëau
25 mai 2009
1
Motivations
Valoriser des fonds de collections d’images
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
•
•
Contexte INA : Photothèque
Contexte « grand public » : collections personnelles de photographies
Bateaux
Plage
Montagnes
Famille
2
Systèmes existants
1. Manuel
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
+expressivité, ergonomie
- fastidieux
2. Automatique
+ productivité
- satisfaction
3. Semi-automatique
+ expressivité, contrôle utilisateur
- peut être fastidieux
3
Objectifs et contraintes
Plan
• Semi-automatique
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
• Collections vierges
• Satisfaction totale de l’utilisateur
- Capturer ses intentions
- Diminuer sa charge de travail
• Une ou plusieurs catégories par image
4
Proposition
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Utilisateur
Choix d’une stratégie
de sélection
Images
non
étiquetées
Modélisation
et synthèse de
la
connaissance
Etats de
connaissance
Interactions
Sélection
active
d’images
Liste(s)
d’images
Interface
homme
machine
Etiquetages
Images
étiquetées
Nouvel état des étiquettes
5
Plan
Introduction
Modélisation
de la
connaissance
Modélisation et synthèse de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
6
Problématique
?
Ø
Plan
Introduction
Modélisation
de la
connaissance
« éléphants »
?
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
?
« monuments »
?
« plages »
7
Contenus visuels
Non étiquetée u
Étiquetée lq
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Descriptions couleurs, orientations
Croyance que u appartient à la même classe de lq ?
Fossé sémantique?
Appartenances multiples?
Combinaisons ?
8
Fonction de croyances (1/3)
Plan
Modèle des Croyances Transférables [Smets94]
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Cadre de discernement :
Espace puissance :
conflit
doute
Distribution de masses (KnnEv [Denoeux95]) :
9
Fonction de croyances (2/3)
Plan
Adaptation locale des fonctions de croyances
Introduction
Modélisation
de la
connaissance
1
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
C1
Knn « négatifs »
0
0
Paramètre f : croyance aux frontières des classes
0,5
1
10
Fonction de croyances (3/3)
Paramètre f : gestion des croyances aux frontières des classes
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
u
11
Combinaison de témoignages
• Règle de combinaison conjonctive
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
• Problème : masse sur la proposition
?
12
Transfert de masses
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
13
Multi-classe
• produit des cadres de discernement « locaux »
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Exemple pour 2 classes : 4 hypothèses
Combinaison des distributions de masses l’opérateur « d’extension
vide » [Smets93]
14
Multi-descripteur
Plan
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
15
Modélisation de la connaissance : bilan
Plan
Extension du KnnEv
Introduction
Modélisation
de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
•
•
•
•
connaissance détaillée :
Appartenance une ou plusieurs classes
Non appartenances
Doutes et conflit
Adaptation locale
16
Plan
Introduction
Modélisation de la
connaissance
Sélection active d’images
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
17
Apprentissage actif
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
« Vérité
Modèle
t0terrain
idéal »
•
Classer les échantillons les plus « informatifs »
18
Apprentissage actif
Stratégie 1
Stratégie 2
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
t0
t4
t3
t2
t1
•
Classer les échantillons les plus « informatifs »
• Pour l’apprentissage
Adéquation ?
• Pour l’utilisateur
19
Stratégies de sélections
Plan
Introduction
Modélisation de la
connaissance
Transformation pignistique [Smets05]
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
Hypothèses :
- positives
- rejet en distance
- ambigües
locales
globale
20
Stratégie du plus positif
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
Recherche des
étiquettes les plus
probables
Premiers sélectionnés
Derniers sélectionnés
21
Stratégie du plus rejeté en distance
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
Exploration de
nouveaux
contenus visuels
Premiers sélectionnés
Derniers sélectionnés
22
Stratégie du plus localement ambigu
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
Désambigüisation
des classes 2 à 2
Premiers sélectionnés
Derniers sélectionnés
23
Sélection active d’images : bilan
Plan
Introduction
Modélisation de la
connaissance
Sélection
active d’images
Interface et
démonstration
Evaluations
Conclusion
Expression des stratégies usuelles avec le MCT
Stratégies complémentaires pour identifier et
cerner les classes
24
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface homme-machine
Interface et
démonstration
Evaluations
Conclusion
25
Proposition automatique d’étiquette(s)
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Exemple à 3 classes
Interface et
démonstration
Evaluations
Conclusion
sans rejets
distance
Etiquetage avec
rejet en ambigüité
ou étiquetage multiple avec
sans rejets
rejet en distance
26
Interface et démonstration
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
27
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Evaluations
Conclusion
28
Classification automatique et multi-étiquetage
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
scene-classification [Boutell04]
6 classes Corel
1,08 étiquettes/image
1211 apprentissage / 1196 test
Evaluations
Conclusion
29
Caractérisation des stratégies (1/3)
Plan
5x100 images Corel
Classes visuellement homogènes
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Effort de l’utilisateur
Evaluations
Nombre final de mauvaises propositions
Conclusion
40
Evolution
30
20
Rand
MP
10
0
1
51 101 151 201 251 301 351 401 451
Sélection
30
Caractérisation des stratégies (2/3)
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Nombre de mauvaises
étiquettes accumulées
Plan
45
40
35
30
25
20
15
10
5
0
MP
MR
MLA2
1 51 101 151 201 251 301 351 401 451
Sélection
f = 0,4
31
Caractérisation des stratégies (3/3)
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Nombre de mauvaises
étiquettes accumulées
Plan
45
40
35
30
25
20
15
10
5
0
MP
MR
MLA2
1 51 101 151 201 251 301 351 401 451
Sélection
f = 0,7
32
Combinaison avec des métadonnées
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Combinaison avec des informations imprécises et partielles
Ex : date de prise de cliché
1820 photographies, 24 appareils, 6 événements temporels
Evaluations
Conclusion
Préparatifs
Séance photos
Mairie
Cérémonie
Soirée
Lendemain
33
Combinaison avec des métadonnées
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
34
Evaluation avec utilisateur
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Documentaliste responsable de la Photothèque Ina
Méthodologie « penser à haute voix » [Nielson92]
Téléfilm Borgia
↗ Une même classe avec contenus visuels différents
↗ Réorganisation à volonté des classes
↗ Prise en main de l’interface
↗ Adéquation avec usage
↘ Prise en main des stratégies non immédiate
Suggestions :
- Vue d’ensemble pour initialisation des classes
- Hiérarchie
35
Conclusion
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Verrous levés :
• Satisfaction totale
• Peu d’échantillons
• Multi-étiquetage
• Tout type de collections d’images
Cadre de formalisation :
• Classification, stratégies, décisions
• Modélisation du doute et du conflit
• Echelle
Souplesse :
• Gestion des classes : modification/création/suppression à la volé
• Ajout de nouveaux descripteurs de contenus et métadonnées
Prototype : tests opérationnels
36
Perspectives (1/3)
Plan
•
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
•
Optimisations et autres tests :
-
Adaptation automatique des fonctions de croyances
-
Descripteurs (locaux) et métriques
-
Classifieurs de base
Semi-supervisé :
-
Structuration partielle de très grandes bases d’images
-
Structuration de vidéos
37
Perspectives (2/3)
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Conclusion
Combinaison/alternance de stratégies
plus de propositions correctes
améliorer le confort de l’utilisateur
Nombre de mauvaises étiquettes accumulées
•
50
45
40
35
MP
30
MR
25
1 MR, X MP
1_MR_MP_While
20
StrategyId
15
10
5
0
1
26
51
76
101
126
151
Sélection
38
Perspectives (3/3)
•
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Organisations hiérarchiques
Formalisation de « sur-classes » et « sous-classes »
Multi-étiquetage sur différents niveaux hiérarchiques
Conclusion
39
Plan
Introduction
Modélisation de la
connaissance
Sélection active
d’images
Interface et
démonstration
Evaluations
Merci pour votre attention
Conclusion
40
Compléments
41
DESCRIPTEURS MPEG7 (1/2)
5x100 images Corel
Descripteurs standards (Rummager )
Stratégie du plus rejeté en distance MR
k=5,f=0.7,distance de Bhattacharya
Descripteur
Hrgb
Hhsv
Cced
Scd
Cfct
Hlab
Hluv
Horient
MPEG7cld
MPEG7ehd
MPEG7scd
Nombre de corrections final
33
33
35
35
37
39
46
54
58
68
399
42
DESCRIPTEURS MPEG7 (2/2)
5x100 images Corel
Descripteurs standards (Rummager )
Stratégie du plus rejeté en distance MR
k=5,f=0.7,distance de Bhattacharya
40
35
30
25
MPEG7CLD+MPEG7EHD
20
Horient+Hrgb
cced+cfct
15
10
5
0
1
101
201
301
401
43
Fusion précoce et tardive
84
82
80
Performance (%)
fusion précoce
78
Performance (%)
fusion tardive
76
74
Or.+Hsv Or.+Lab Or.+Luv Or.+Rgb
0,8
0,7
0,6
Non spécificité
moyenne fusion
précoce
0,5
0,4
Non spécificité
moyenne fusion
tardive
0,3
0,2
0,1
44
0
Or.+Hsv Or.+Lab Or.+Luv Or.+Rgb
Réglage automatique du paramètre f
Influence du paramètre f
Transformation d’étiquettes
PT3
PT4
PT6
47
Structuration de vidéos (1/4)
48
Structuration de vidéos (2/4)
Structuration de vidéos (3/4)
Structuration de vidéos (4/4)
Stratégie orientée classe
Vue locale
52
Stratégie orientée classe
Vue globale
53