Transcript partie 1 - Caroline Petitjean

Techniques biomédicales
Le traitement
d’images médicales
Caroline Petitjean
Université de Rouen
[email protected]
Caroline Petitjean
Techniques biomédicales
Traitement d’images
Résultat :
visualisation
améliorée
Résultat : mesure
de la surface de la
tumeur
Résultat :
identification
des cellules
malades et
saines
Prétraitement
Traitement Reconnaissance
des formes
Techniques biomédicales
saine
malade
Caroline Petitjean
Objectifs en TIM
Amélioration d’image
Extraction
d’information
dans l’image
Segmentation
Comparer 2 images
Reconstruction 3D
Recalage & fusion
Techniques biomédicales
Caroline Petitjean
Plan
 Exemples d’applications
 Spécificités des méthodes de TIM
 Segmentation
 Recalage et fusion d’images
 En pratique
Techniques biomédicales
Caroline Petitjean
Exemples
Amélioration du contraste de l’image
Image
acquise
Contraste
amélioré
Radio
Source : Synarc
Techniques biomédicales
Fond d’œil
Caroline Petitjean
Exemples
Quantification de la densité capillaire
Segmentation
de la surface
du réseau capillaire
Densité capillaire
Source : [1]
Techniques biomédicales
Caroline Petitjean
Exemples
Segmentation de tumeurs
Source : Cours Devaux PCEM
Techniques biomédicales
Caroline Petitjean
Exemples
Estimation de la contractilité des ventricules
cardiaques en IRM
radial
Source : Thèse CP
Quantification
Estimation de
mouvement
circulaire
Techniques biomédicales
Caroline Petitjean
Exemples
Scanner seul
• Utilisation de l’imagerie
fonctionnelle TEP pour le
contourage en radiothérapie
 Meilleure
détection/discrimination
des tissus tumoraux
Scanner + TEP
 Modification de la
forme/volume du volume
tumoral comparé aux
images scanner seules.
Source : S. Hapdey, CHB, Rouen
Techniques biomédicales
Caroline Petitjean
Exemples
Comparaison d’images avant/après
Source : Université Louis Pasteur, Strasbourg
Techniques biomédicales
Caroline Petitjean
Exemples
Comparaison d’images complémentaires
IRM
Scanner
Source : EPFL
Techniques biomédicales
Caroline Petitjean
Exemples
Comparaison d’images complémentaires
Scanner
TEP
Source : EPFL
Techniques biomédicales
Caroline Petitjean
Exemples
Atlas d’organes
Source : INRIA
http://www.imaios.com/fr/e-Anatomy/Genou-IRM
Techniques biomédicales
Caroline Petitjean
Pourquoi faire un traitement
par ordinateur ?
Les logiciels d’aide au diagnostic permettent de :
- diminuer la variabilité intra- et inter-expert
- réduire le temps passé à des tâches fastidieuses
- estimer de nouveaux paramètres
Techniques biomédicales
Caroline Petitjean
Plan
 Exemples d’applications
 Spécificités des méthodes de TIM
 Segmentation
 Recalage et fusion d’images
 En pratique
Techniques biomédicales
Caroline Petitjean
Spécificités des méthodes de TIM
Prise en compte des caractéristiques des
images médicales
Robuste
Rapide (pratique clinique)
(Semi-)Automatique
Validée
Techniques biomédicales
Caroline Petitjean
Spécificités des méthodes de TIM
Effet de volume partiel dans les modalités
tomographiques
• Chaque coupe a une épaisseur non nulle
Source : [2]
Techniques biomédicales
Caroline Petitjean
Spécificités des méthodes de TIM
Rappel : différents types de bruits en vision par
ordinateur :
Original
Salt and pepper
(noir et blanc,
aléatoire)
Gaussien
(additif)
Techniques biomédicales
Speckle
(multiplicatif)
Caroline Petitjean
Spécificités des méthodes de TIM
Images échographiques (US) :
bruit “speckle” (multiplicatif)
Images IRM : bruit gaussien
Techniques biomédicales
Caroline Petitjean
Spécificités des méthodes de TIM
En IRM : intensité non uniforme (INU)
Source : [2] B. Dawant and A. Zijdenbos. Chapter 2: Image Segmentation. Handbook of Medical Imaging. Volume 2:
Medical Image Processing and Analysis, SPIE Press: p.71-127, 2000.
Techniques biomédicales
Caroline Petitjean
Source : [2]
Correction de INU en IRM
Techniques biomédicales
Caroline Petitjean
Spécificités des méthodes de TIM
Images scanner (CT) : unités Hounsfield
Caroline Petitjean
http://www.med.univ-angers.fr/discipline/radiologie/PDFs/DC1_IPDM/Dias_IPDM_TDM.pdf
Techniques biomédicales
Plan
 Exemples d’applications
 Spécificités des méthodes de TIM
 Segmentation
 Recalage et fusion d’images
 En pratique
Techniques biomédicales
Caroline Petitjean
Segmentation : objectifs
Extraction de points,
lignes ou régions
Calcul de paramètres
régionaux (surfaces...)
Peut être effectuée
avant ou après recalage Source : [1]
Techniques biomédicales
Caroline Petitjean
Segmentation
Segmentation
Recherche de frontières
(approches « contours »)
filtrage linéaire, graph,
contours actifs…
Recherche de régions
(approches « régions »)
seuillage, region growing…
+ Segmentation par techniques de classification
(clustering)
Techniques biomédicales
Source : LIRMM
Caroline Petitjean
Segmentation : approches régions
But : Segmenter l’image en se basant sur
des propriétés intrinsèques des régions
• Seuillage
• Croissance de régions
Techniques biomédicales
Caroline Petitjean
Seuillage
Très simple au niveau algorithme  très
utilisé en routine clinique
Seuillage global
Originale Histogramme
Seuillée
Laplacien
Source : [3] J. Rogowska. Overview and fundamentals of medical image segmentation. Handbook of medical
imaging, Academic Press, p. 69 – 85, 2000.
Techniques biomédicales
Caroline Petitjean
Seuillage
Techniques biomédicales
Caroline Petitjean
Approches régions
Croissance de régions (Region growing)
 choix d'un germe
 propagation selon un certain critère
Accumulation des voisins
vérifiant la propriété
Source : LIRMM
Techniques biomédicales
Caroline Petitjean
Approches régions : application
Segmentation de la graisse sous-cutanée et
viscérale sur des images scanner acquises
chez des patients atteints du VIH
Source : [1]
Techniques biomédicales
Caroline Petitjean
Approches régions : application
Segmentation par croissance de région selon
un critère de seuillage
Choix du seuil :
 Codage sur 12 bits  4096 valeurs
 Image CT en unités Hounsfield : [-1024 ; 3071]
•
•
•
•
Air : -1024 HU
Eau : 0 HU
Graisse : -120 à –60 HU
Os : 1000 HU
Techniques biomédicales
Caroline Petitjean
Approches régions : application
Segmentation par croissance de région selon
un critère de seuillage
A partir du germe :
pixel  région
si son intensité 
[-120,-60]
Source : [1]
Techniques biomédicales
Caroline Petitjean
Segmentation : approches "contours"
Approche par filtrage linéaire
Technique de graph searching
Contours actifs & modèles déformables
Techniques biomédicales
Caroline Petitjean
Approches contours
Utilisation du gradient de l’image
Exemple : angiographie
Image
originale
Masque
Sobel 3x3
Seuillage
Seuil bas
(600)
Seuillage
Seuil haut
(1000)
Source : [3]
Techniques biomédicales
Caroline Petitjean
Approches contours
Laplacien de l’image
Laplacien
de l’image
Nécessité de
post-traitement
très important !
Zero
crossings
Source : [3]
Techniques biomédicales
Caroline Petitjean
Approches contours
• Le laplacien est sensible au bruit
Techniques biomédicales
Caroline Petitjean
Approches contours
Laplacian of Gaussian (LoG)
Laplacien
de l’image
Laplacien
+gaussien
Zero
crossings
Zero
crossings
Source : [3]
Techniques biomédicales
Caroline Petitjean
Approches contours
• Laplacien
surtout
utilisé pour
rehausser
les
contours
Techniques biomédicales
Caroline Petitjean
Approches contours
• Autre possibilité pour rehausser les
contours
(a) Profil idéal
(b) Profil observé (flou)
(c) Filtré par une gaussienne
(encore plus flou)
(d) Mise en évidence des contours
Techniques biomédicales
Caroline Petitjean
Approches contours
• Différences de gaussiennes (DoG)
Techniques biomédicales
Caroline Petitjean
Approches contours
• Utilisation de masques gradient ou
laplacien
– Sensibles au bruit
– Nécessité de post-traitement
+ Calcul rapide
Techniques biomédicales
Caroline Petitjean
Approches contours
Technique de “Graph searching”
A utiliser lorsqu’on a de la connaissance a
priori sur le contour.
Ex : Point de début, de fin, connus
Ex : Propriétés relatives à la forme du contours
Contour non lisse
Contour lisse
(smooth)
Courbure faible
Courbure élevée
Techniques biomédicales
Caroline Petitjean
Approches contours
A partir de l’image, on fabrique une matrice
de coût, pour passer d’un pixel à l’autre
Si zone uniforme : coût élevé
Si zone de contour : coût faible
Le coût dépend du gradient de l’image
et de connaissance a priori sur le contour
Un graph : ensemble de points
ensemble de liens
Segmenter l’image consiste à trouver le chemin de coût
minimal dans le graphe
Techniques biomédicales
Caroline Petitjean
Approches contours
Exemple NdG C(pq)=M-[I(p)-I(q)]
Source : Gonzalez & Wood
Graph searching : Problème très général
Techniques biomédicales
Caroline Petitjean
Approches contours
IRM cardiaque Transformation en coordonnées
polaires
Source :
Techniques biomédicales
Lalande et al. 1999
Caroline Petitjean
Approches contours
Image originale (coord.polaires)
Source :
Matrice de coût
Segmentation finale
Lalande et al. 1999
Techniques biomédicales
Caroline Petitjean
Approches contours
Source :
Lalande et al. 1999
Techniques biomédicales
Caroline Petitjean
Contours actifs
Définition d’un snake P
P8
9
P10
P7
P11
P6
P3
P1
P2
P5
P4
Esnake  Einterne  Eexterne
• Propriétés intrinsèques
• Longueur, courbure…
• Propriétés locales de l’image
autour du snake
Techniques biomédicales
Caroline Petitjean
Exemple IRM cardiaque
Source : A. Yezzi, Georgia Tech Univ.
• Initialisation :
• courbe assez proche du
contour extraire
Optimisation itérative :
déformations du contour actif de
façon ce qu’il atteigne une
position d’énergie minimum.
Techniques biomédicales
Caroline Petitjean
Exemple snake 3D
Techniques biomédicales
Caroline Petitjean
Energie d’un snake
• Formulation paramétrique du contour
C  v(s)  ( x(s), y(s)),s  0,1
Energie totale(C) = Eint(C) +Eext(C)
• Energie interne : mesure la régularité de la
courbe
1
Eint   ( v' (s)   v' ' (s) 2 )ds
2
0
Elasticité
Eelastic 
n
 P P
i 1
i
i 1
2
Rigidité
n 1
Erigidité   Pi 1  2 Pi  Pi 1
Techniques biomédicales
i 1
2
Caroline Petitjean
Energie interne d’un snake
Energie élastique
Energie de courbure
Techniques biomédicales
Caroline Petitjean
Energie externe d’un snake
• Energie externe : reliée au contenu de l’image
1
Eext    g ( I (v(s)))ds
2
0
Avec g fonction généralement décroissante de
gradient de l’image
• Si contour : gradient élevé  g ≈ 0
• Si zone homogène : gradient faible  g élevé
Techniques biomédicales
Caroline Petitjean
Energie externe d’un snake
Zones brillantes ou sombres:
Contours en tant que maxima de la norme du gradient:
Eext  I
Eext   I

Eext ( x ) 
Répulsion d’une zone:
Techniques biomédicales
2

 2
1 x  
Caroline Petitjean
Résolution
• Comment trouver C qui minimise E = Eint + Eext ?
• Par l’équation d’Euler Lagrange
Dans notre cas :
Soit E la fonctionnelle d’énergie
E   f ( s, v( s ), v ' ( s )) ds
Pour que E atteigne un extremum, il
faut que v(s) vérifie
f d f
 ( )0
v ds v'
1
1
E   ( v' ( s )   v' ' ( s ) 2 )ds    g 2 ( I (v( s ))) ds
0

 0

2
E int
Eext
 v' ' (s)  v( 4) (s)  g 2 ( I (v(s)))  0
Equation d’évolution du snake
v( s, t )
 v' ' ( s)  v ( s)  g ( I (v( s))) 
t
( 4)
Techniques biomédicales
2
Caroline Petitjean
Conclusions sur les snakes
• Avantage : calculs numériques rapides
• Inconvénients
– Segmentation multi-objets impossible
– Phase d’initialisation sensible
– Approche non intrinsèque
Contours actifs géodésiques
Techniques biomédicales
Caroline Petitjean
Résultats de CAG
• Source : Yezzi et al
Techniques biomédicales
Caroline Petitjean
Segmentation
avec a priori de
forme
Quand la forme de
l’objet à segmenter
est connue et ne
varie pas (trop)
ASM
Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
Contours de 96 points
tracés manuellement sur
66 images par des
cardiologues
Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
• Variation sur les premiers vecteurs propres
Variation de la largeur
Variation du septum
Variation de l’oreillette
Variation du VG Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Initialisation
du modèle
Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicales
Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicales
Caroline Petitjean
ASM : segmentation IRM
114 points, 8 images
Techniques biomédicales
Caroline Petitjean
Active Appearance Model
personalpages.manchester.ac.uk/staff/timothy.f.cootes/
Techniques biomédicales
Caroline Petitjean
Segmentation par classification
La segmentation peut être vue comme un
problème de classification :
Les régions sont étiquettées
Comment trouver l’étiquette d’un pixel ?
Différentes techniques :
Sans apprentissage : k-means
Avec apprentissage : kppv, réseau de
neurones…
Application : segmentation multimodale
Techniques biomédicales
Caroline Petitjean
Clustering (k-moyennes)
• K = nombre de régions (cluster) à trouver
– Ici K = 2 (Fond + chromosomes)
1) On clique dans l’image pour avoir
un représentant de chaque région (=centre de cluster = CC)
Pf = 32, Pc = 217
2) Pour chaque pixel de l’image,
calcul de sa distance à chaque CC : |NdG - Pi|
on lui attribue la région de distance minimum
3) Pour chaque cluster, on calcule le NdG moyen =
nouveaux CC. Sont-ils différents des anciens CC ?
Si oui, retour à 2)
Si non, stop
Techniques biomédicales
Caroline Petitjean
• Exemple :
segmentation
de la tumeur
IRM cérébrale à
2 instants
différents
(recalage
préalable
supposé)
Techniques biomédicales
Caroline Petitjean
Clustering
• Segmentation en 3 classes
• Résultat après convergence
Techniques biomédicales
Caroline Petitjean
Segmentation multimodale
Principe : utilisation de plusieurs images de la
même scène physique pour la segmentation
Hypothèse de recalage préalable
Spatiale (classification) : utilisation d’images
de différentes modalités à même instant
Temporelle : utilisation d’images de la même
modalité à des instants différents
Techniques biomédicales
Caroline Petitjean
Segmentation multimodale
Techniques de
classification
Axial
Sagittal Coronal
Techniques biomédicales
Caroline Petitjean
T1
IRM cérébrale
T2
Chaque pixel
possède 3 valeurs
(T1, T2, PD)
PD
Source : [2]
Segmentation multimodale
Distribution des pixels en T1 et T2
Source : [2]
Techniques biomédicales
Caroline Petitjean
Segmentation multimodale
Classification en 4 classes
•
•
•
•
fond (noir),
matière blanche (blanc),
matière grise (gris clair),
liquide céphalo-rachidien (gris foncé)
Techniques biomédicales
Source : [2]
Caroline Petitjean