Transcript Traitement numérique des images

traitement numérique des images
objectifs :
amélioration, élimination du bruit, rehaussement du contraste, visualisation
transmission stockage compression et reconstruction
détection, analyse, reconnaissance (théorie de la décision, intelligence artificielle
méthodes de base à partir desquelles de nombreuses adaptations :
filtrage, convolution, analyse fréquentielle (Fourier) à deux dimensions
extension des méthodes monodimensionnelles
décomposition de l’image en régions stationnaires séparées par des contours
caractérisés par leur pente, leur courbure faible et leur discontinuités ainsi que par
leurs intersections (points caractéristiques)
domaines d’application :
dès qu’on dispose d’une image et qu’on souhaite en extraire une information :
transmissions numériques, robotique, automatisation des tâches,
télédétection, imagerie médicale, assistance à l’opérateur, ...
1
évaluation :
contrôle continu :
présence active pendant les cours
travaux dirigés : présence et travail réalisé en 12 semaines
rapport écrit et présentation en fin de semestre
soit vous proposez un sujet qui vous intéresse
soit vous traitez
détection de la pupille et de l’iris dans une image d’œil
ou décomposition d’une image en régions et contours
(simulation d’un vitrail)
examen écrit portant sur
les aspects mathématiques théoriques
les méthodes et les algorithmes
2
1822 contact
[View from theWindow at le Gras, Joseph Nicéphore Niépce 1826]
One of the oldest surviving photographs. This image is believed to be the second photograph
ever taken and the first using a camera.
3
http://graphics.ucsd.edu/~neel/dissertation/chapter1.pdf
exemple de problème (difficile) : compenser un bougé ou un flou
4
TRAITEMENT NUMERIQUE DES IMAGES
J. Le Roux, SI 4/ MAM 4 Fév.- Mai 2012
1. Introduction à l’image numérique
exemples de problème : l’amélioration d’images
2. Filtrage convolution 2D (liens avec l’optique)
Analyse en fréquence ; échantillonnage
3. Contours, Régions
4. Tomographie, imagerie médicale
5. Reconnaissance d’images
6. Divers problèmes d’analyse d’image
télédétection remote sensing
biométrie
analyse d’images et robotique
5
1. Introduction à l’Image Numérique
Objectifs du cours
Intensité, quantification ; couleurs
Echantillonnage (pixels) ;
Exemple de pb : la rotation d’images
Liste de problèmes
Compression images fixes animées
Amélioration d’images Lissage
Reconnaissance de formes
Imagerie satellitaire
Images médicales
* représentation en perspective de l'intensité
(bien voir les difficultés sur l'amplitude du signal)
* il faut bien formaliser ce qu'on veut obtenir
et modifier les méthodes académiques en conséquence si cela est nécessaire
6
2. Filtrage convolution 2D
Analyse en fréquence ;
échantillonnage
la célèbre Lenna
icône du traitement d’images ...
Convolution (liens avec l’optique)
Sinusoïdes 2D orientation
basses fréquences hautes fréquences
Transformée de Fourier 2D propriétés
Théorème de Shannon ; limitations en
traitement d’images
Gibbs, Franhaufer Airy
Transformée de Fourier discrète
Transformée en cosinus (Compression
jpeg)
7
3. Contours Régions
Les difficultés * les détections de contours
et les segmentations en région ne sont
en général pas très performantes
Que faire quand le résultat est décevant ?
Faut il fermer les contours ?
et isoler les régions ?
attention aux objectifs à atteindre
dans le problème posé
•Morphological image processing
•Squelettisation
Régions et texture Bruit de fond
snakes
Lissage Amélioration d’images
préservant les contours
8
4. Stéréovision, Tomographie
imagerie médicale
détection de points caractéristiques
appariement de points
(stéréo, séquence vidéo)
Vision stéréographique,
profondeur
Interférences vision
en relief holographie
* Medical image processing
* Microscope image processing
www-physique.u-strasbg.fr/cours/lphys/Einstein_imageriemed.ppt
9
5. Reconnaissance d’images
Théorie de la décision
La difficulté pratique : très grande variabilité
Detection d’objets simples (transformée de Hough)
* Computer vision
* Face detection
* Feature detection (reconnaissance)
Biométrie
Analyse de scène en robotique
10
6. Problèmes divers d’analyse d’images
Images animées mpeg etc...
* image compression JPEG ondelettes
* images animées mpeg4 divx jerome rota
* H.264 ou AVC (Advanced Video Codec)
http://fr.wikipedia.org/wiki/H.264
Recherche du mouvement
Remote sensing http://rst.gsfc.nasa.gov/
Problèmes inverses en traitement d’images
11
quelques références
http://www.polytech.unice.fr/~lingrand/Ens/planTraitIma.html
cours de Diane Lingrand
http://www.archive.org/details/Lectures_on_Image_Processing
http://ia350625.us.archive.org/2/items/Lectures_on_Image_Processing/EECE253_01_Intro.pdf
R.A. Peters,Vanderbilt University
http://arthur.u-strasbg.fr/~ronse/TIDOC/index.html
http://www.ph.tn.tudelft.nl/~lucas/education/et4085/sheets/ppt/FIP2.2.pdf
Fundamentals of Image Processing
Ian T. Young, Jan J. Gerbrands, Lucas J. van Vliet
12
Livres conseillés
Olivier Faugeras, with Nikos Paragios and Yunmei Chen *
"Mathematical Models in Computer Vision", Springer, 2005edited
Rafael C. Gonzalez, Richard E. Woods *
“Digital Image Processing” (2nd Edition) - - Addison-Wesley;
http://www.imageprocessingplace.com/downloads_V3
/dip3e_downloads/dip3e_sample_book_material/dip3e_chapter_01.pdf
Bernd Jähne * Practical Handbook on Image Processing for Scientific Applications - - CRC Press;
Diane Lingrand, "Introduction au Traitement d'Images" 2nd edition, Vuibert, Paris, France,
feb 2008, ISBN : 2-7117-4866-9
http://www.polytech.unice.fr/~lingrand/Ens/ImageProcessingCourse.html
* A course in english
* Books available on the web
* Computer Vision Online
W. K. Pratt, * "Digital Image Processing" by John Wiley & Sons, inc., Third Edition, 2001
K.R. Rao, P.C. Yip - * The Transform and Data Compression Handbook - CRC Press.
http://rst.gsfc.nasa.gov/
John C. Russ * The Image Processing Handbook (3rd Edition) - - Springer;
N. Short, “remote sensing turorial” http://rst.gsfc.nasa.gov/
Alan Watt, Fabio Policarpo * The Computer Image - - Addison-Wesley;
13
enhance contrast, remove noise,
detect edges, segment an image into regions,
thin regions, or perform skeletonization on regions.
Morphological functions Erosion and dilation
Opening and closing
Watershed segmentation
Reconstruction
Distance transform
Detect lines and extract lines segments
from an image using the Hough transform
using texture analysis functions
14
1.Introduction à l’Image numérique
notions élémentaires sur l’image numérique
une fonction scalaire ou vectorielle
de deux variables f(x,y)
notions sur la vision humaine et les capteurs
intensité, couleurs, quantification dans la rétine
Echantillonnage (pixels) ;
histogramme des niveaux d’intensité
Exemple de pb : la rotation d’images numériques
15
Qu’est ce qu’une image numérisée (noir et blanc)?
L’INTENSITE LUMINEUSE EST UNE FONCTION
DE DEUX VARIABLES
f ( x, y )
y
x
16
il est très difficile d’interpréter le contenu d’une image en étudiant la fonction f(x,y) !
il est parfois important de se rappeler que la machine ne ‘voit’ pas l’image comme vous
17
quelques notions de biologie
de la vision
•
•
•
•
couleurs
l’œil
la rétine
les circuits neuronaux
18
Une image couleur f(x,y) est un vecteur à trois composantes
les chrominances peuvent
souvent
être codées avec une
précision moindre
(p. ex. un échantillon sur 2)
19
une image couleur = trois intensités (rouge, vert, bleu ou combinaisons)
ROUGEP  0  VERTP  0  BLEUP
0ROUGEP  1  VERTP  0  BLEUP
0ROUGEP  0  VERTP  1  BLEUP
20
une image couleur = trois intensités (rouge, vert, bleu ou combinaisons)
ROUGE  VERT  0  BLEU  0
ROUGE  0  VERT  BLEU  0
ROUGE  0  VERT  0  BLEU
21
génération des intensités RVB d’un arc en ciel
250
200
150
100
50
0
50
0
32
64
96
128
160
192
224
256
x
f
22
Premières colorisations de film
Annabelle - Serpentine Dance (1894) [Edison]
http://www.youtube.com/watch?v=p94yQ8cvTHg&NR=1
23
l’oeil
125 millions de bâtonnets (intensité
et vision nocturne)
5 millions de cônes (couleur)
http://www.pug.fr/extrait_ouvrage/Electure.pdf
http://perso.id-net.fr/~brolis/docs/oeil/physio.html
24
http://lecerveau.mcgill.ca/flash/d/d_02/d_02_m/d_02_m_vis/d_02_m_vis.html
Une protéine
transmembranaire, l'opsine, sur
laquelle vient se fixer un
groupement le rétinène, qui
n'est autre qu'un aldéhyde de la
vitamine A ou rétinol subit
l'arrivée d'un photon entre 650
et 400nm sur la partie rétinène
de la rhodopsine qui passe
alors de la conformation 11-cis
à la conformation tout-trans
(appelée métarhodopsine II).
La métarhodopsine II produite par
transformation de la rhodopsine
sous l'effet de la lumière active une
protéine : la transducine. Par la
suite, les canaux Na+ des cellules
réceptrices se ferment, provoquant
une hyper-polarisation membranaire
qui engendre un potentiel d'action
électrique dans les cellules
ganglionnaires.
25
http://www.futura-sciences.com/fr/doc/t/medecine-1/d/loeil-la-vision-au-dela-de-la-vision_667/c3/221/p5/
recherches actuelles en neurologie :
quels sont les mécanismes mis en œuvre au niveau neuronal ?
p. ex : au premier niveau : détection de contours et de leur orientation
ensuite : qu’est ce que la mémoire enregistre ?
comment le cerveau compare-t-il une nouvelle image aux
données mémorisées pour éventuellement reconnaître
un objet en quelques centièmes de secondes
pour progresser : apport incontournable de l’imagerie médicale
26
quantification numérique
• quantification en niveaux
– en couleurs
– traitements à base d’histogramme
rehaussement
• quantification spatiale
27
noter l’effet de contraste près des transitions
28
pour chaque couleur l’intensité est en général codée sur un octet parfois 2
1bit
KLIN
6-8
2
3
KLIN
KLIN
5
4
29
30
nombre de pixels
d’une intensité donnée
(souvent un octet)
noir
blanc
modifier l’histogramme pour améliorer la qualité d’une image (contraste)
grande sensibilité des capteurs des appareils photos numériques
31
construire l’histogramme
choisir un pas de quantification
pour chaque niveau de quantification
compter le nombre de pixel ayant
ce niveau de quantification
a
par exemple
pour augmenter
le contraste
après modification
modifier les niveaux d’intensité
blanc
noir
a
avant modification
blanc
32
33
34
échantillonnage des images
(nous reviendrons ultérieurement sur le théorème d’échantillonnage)
35
Abraham Lincoln
[Salvador Dali, 1976]
Pixels ;
échantillons
mosaïques
formalisation rigoureuse
(théorème de Shannon
dans le cas des images)
36
g
g
g
37
g
g
de 4x4 à 128x128 pixels
g
Point Par Pouce
Unité de mesure de la résolution, utilisée principalement pour les écrans et les
imprimantes. En français on parle de Points Par Pouce (PPP) ou de Pixels Par
Pouce, ce qui est un peut différent, en anglais on parle de Dots Per Inch (DPI)
ou de Pixels Per Inch (PPI). Note : un pouce (inch) vaut 2,54 cm.
Plus il y a de points par pouce, meilleure est la résolution d'une image. Les
détails que l'on pourra voir seront plus fins.
Par exemple un écran classique peut afficher 75 pixels par pouce,
si on atteignait les qualités d’appareils actuels (12 millions de pixels p.ex.)
on aurait de l’ordre de 250 pixels par pouce (10 pixels par mm qualité
comparable à la photographie argentique)
38
quantité d’information contenue dans une image
(sans compression)
quelques millions
de pixels par image
pixels
couleurs
niveaux de
quantification
de l’intensité
trois couleurs
huit bits par couleur
une photo = quelques dizaines de millions de bits
une page d’écriture = 40x60 caractères = vingt mille bits
un livre = quelques millions de bits
images animées
24 ou 25 images par seconde
un film de 1h30 = 10 térabits (dix mille milliards)
un cd audio = 10 milliard de bits
39
enhance contrast, remove noise,
detect edges, segment an image into regions,
thin regions, or perform skeletonization on regions.
Morphological functions Erosion and dilation
Opening and closing
Watershed segmentation
Reconstruction
Distance transform
Detect lines and extract lines segments
from an image using the Hough transform
texture analysis functions
40
télédétection
41
42
Attention aux fausses interprétations (face on mars)
43
remote sensing
surveillance
détection intelligente de mouvement
44
l’importance du contexte dans l’interprétation d’une image
45
46
analyse de l’extension d’un feu de forêt
47
48
BIG BROTHER IS WATCHING YOU
49
la géométrie de l'oreille, méthode parfois utilisée par la police,
la démarche (vitesse, mouvements du corps, …),
l'odeur corporelle, l'analyse des pores de la peau,
la thermographie faciale, les ongles, l'irrigation sanguine ...
50
51
exemple de reconnaissance d’écriture manuscrite
contours haut et bas
segmentation
reconnaissance des « segments » dans une base
de segments mémorisés et de leurs enchaînements
(modèles de markov)
Abdenaim EL YACOUBI (la poste nantes)
52
ftp://ftp.irisa.fr/local/IMADOC/lorette/elyacoubi/MOUNIM.PPT
reconnaissance de visages
comment reconnaître automatiquement le visage malgré les mimiques,
les variations d’éclairage, le bruit, les données manquantes, etc...
qui c’est ?
53
54
qu’est ce que c’est ?
55
• des problèmes concrets difficiles, car une multitude de
causes de variations d’une image à l’autre
• une très grande variété d’algorithmes et d’applications ;
toutefois la première étape est souvent basée
sur un filtrage linéaire ou une analyse en fréquence
• encore beaucoup de recherches pour arriver à
comprendre les processus mis en jeu dans le cerveau
56