Transcript Detekcja kierunku za pomocą banku filtrów CHG

Podstawowe tezy i wyniki rozprawy doktorskiej pt.
„Algorytmy segmentacji rentgenowskich obrazów mikrotomograficznych
stopów tytanu”
mgr inż. Łukasz Jopek
Promotor pracy: prof. dr hab. inż. Dominik Sankowski
Promotor pomocniczy: dr hab. Laurent Babout, prof. PŁ
1
Plan prezentacji
1. Cel, zakres i motywacja prowadzenia badań
a) Synchrotronowa mikrotomorafia rentgenowska
b) Charakterystyka obrazów
2. Metody określania orientacji kierunkowej tekstury obrazu
a) Metoda wykorzystująca dekopozycję Contourlet / Surfacelet
b) Bank filtrów CHG
3. Algorytm segmentacji obrazów teksturowanych stopów tytanowych
4. Uzyskane Rezultaty
5. Podsumowanie
2
1. Cel, zakres i motywacja prowadzenia badań
Cel pracy:
• Zasadniczym celem prowadzonych badań jest zrozumienie
zależności pomiędzy budową wewnętrznej mikrostruktury
materiału, a jego właściwościami mechanicznymi, w
szczególności wpływ mikrostruktury na propagację pęknięć
Segmentacja α-kolonii
Segmentacja granic β-ziaren
Charakterystyka
mikrostruktury
(α+β)
Związek pomiędzy budową
mikrostrukturalną materiału a
jego właściwościami
mechanicznymi, zwłaszcza
propagacją pęknięć
Segmentacja pęknieć
Grant NCN
Badania mechaniczne
3
1. Cel, zakres i motywacja prowadzenia badań
Obrazy uzyskano w ośrodku
ESRF (European Synchrotron
Radiation Facility), obrazy zostały wykonane w ramach eksperymentu
ME1230, przeprowadzonego na stanowisku badawczym ID19 w ESRF.
Był to jeden z elementów współpracy pomiędzy Politechniką Łódzką,
którą reprezentował dr hab. Laurent Babout (Instytut Informatyki
Stosowanej), a University of Manchester (UK), reprezentowany przez
prof. Michael Preuss (School of Materials).
4
1. Cel, zakres i motywacja prowadzenia badań
Synchrotronowa mikrotomografia rentgenowska
• Technika bezinwazyjnego badania obiektów 3D
• Źródłem promieniowania jest synchrotron
• Promieniowanie synchrotronowe charakteryzuje się specjalnymi własnościami
• Rozdzielczość przestrzenna wynosi 700nm (0,7µm)
Ogólny schemat
ośrodka ESRF
Ogólny schemat
synchrotronu
5
1. Cel, zakres i motywacja prowadzenia badań
Stanowisko badawcze
6
1. Cel, zakres i motywacja prowadzenia badań
Charakterystyka obrazów
50µm
50µm
7
Granica β-ziarna
Granice α-kolonii
7
1. Cel, zakres i motywacja prowadzenia badań
α-platki
Próbka TI64Al4V
Próbka Ti64
Próbka TI6264
Próbka Ti6246
Granica β-ziarna
Granica β-ziarna
α-platki
8
1. Cel, zakres i motywacja prowadzenia badań
Tezy pracy:
Teza 1: Możliwe jest opracowanie algorytmu segmentacji obrazów
teksturowanych dwufazowych (α + β), krystalicznych, stopów tytanowych,
pozwalającego uzyskać satysfakcjonujące wyniki segmentacji
Teza 2: Zastosowanie opracowanego w rozprawie banku filtrów
kierunkowych CHG (komplementarny filtr klepsydrowy) poprawia
jakość segmentacji w porównaniu z metodą referencyjną.
9
2. Metody określania orientacji kierunkowej tekstury obrazu
Detekcja kierunku oparta o bank filtrów kierunkowych. Transformata
Contourlet :
Bank filtrów kierunkowych
•
Trasformata Contourlet znajduje szerokie zastosowanie,
zwłaszcza do odszumiania i kompresji obrazów.
Ogólny schemat dekompozycji Contourlet
Graficzna reprezentacja dekompozycji
obrazu za pomocą banki filtrów
10
kierunkowych
2. Metody określania orientacji kierunkowej tekstury obrazu
Detekcja kierunku oparta o bank filtrów kierunkowych. Transformata
Surfacelet:
Bank filtrów kierunkowych
Transformata Surfacelet jest rozwinięciem transformaty
Contourlet do n-wymiarowej przestrzeni.
Dekompozycja
sygnału
za
pomocą
filtrów
kierunkowych odbywa się w dziedzinie częstotliwości
(a) Graficzna reprezentacja podziału przestrzeni za
pomocą filtrów
(b) Schemat dekompozycji (dla 1 poziomu)
Detekcja kierunku za pomocą dekompozycji Contourlet / Surfacelet:
(Wersja 2D)
(Wersja 3D)
Gdzie :
- piksel obrazu wyjściowego o współrzędnych i,j /
-n-ty komponent dekompozycji,
- piksel obrazu wyjściowego o współrzędnych i,j,k
to liczba kierunków podstawowych
11
2. Metody określania orientacji kierunkowej tekstury obrazu
Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów
CHG
Parametry filtru:
• n – wektor kierunkowy
filtru
• α – rozdzielczość
kierunkowa filtru
• w – rozmiar maski
w
12
2. Metody określania orientacji kierunkowej tekstury obrazu
Filtr CHG jest filtrem działającym w dziedzinie przestrzeni. Filtracja sygnału odbywa się poprzez
wykorzystanie operatora konwolucji. Sygnał wejściowy jest filtrowany osobno przez każdy, składowy filtr
banku. Wynikiem jest n obrazów, gdzie n to liczba kierunków podstawowych. W przypadku obrazów 2D jest
to 8 kierunków, w przypadku obrazów 3D liczba ta wynosi 13.
Gerenowanie maski filtru:
1. Wybór parametru filtru: rozmiar maski, kierunek, rozdzielczość kierunkowa
2. Wyznaczanie wartości poszczególnych elementów maski w oparciu o wyżej wymienione, trzy parametry
Wypełnianie maski:
Gdzie:
-kąt pomiędzy płaszczyzną P, a wektorem u. Wektor kierunku jest wektorem normalnym płaszczyzny P.
- kąt wyznaczający rozdzielczość kierunkową filtru
Detekcja kierunku za pomocą banku filtrów CHG:
(Wersja 3D)
(Wersja 2D)
Gdzie :
- piksel obrazu wyjściowego o współrzędnych i,j /
-n-ty komponent banku filtrów,
- piksel obrazu wyjściowego o współrzędnych i,j ,k
to liczba kierunków podstawowych
13
2. Metody określania orientacji kierunkowej tekstury obrazu
Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów
CHG
2D
Obraz
wejściowy
[-1 1 ]
[0 1 ]
[1 1 ]
[0 0 ]
[1 0 ]
[0 1 ]
[1 -1 ]
[1 1 ]
3D
Obraz
wejściowy
[-1 1 1]
[0 1 1]
[1 1 1]
[0 0 1]
[1 0 1]
[0 1 0]
[1 -1 1]
[1 1 0]
[1 -1 0]
[0 1 -1]
[1 0 -1]
[1 0 0]
[1 1 -1]
14
2. Metody określania orientacji kierunkowej tekstury obrazu - metoda
referencyjna
Przykładowe rezultaty detekcji kierunku za
pomocą metody opartej o gradient jasności:
a) Obraz wejściowy, b) okno = 5x5, c) okno
=15x15, d) okno=25x25.
e) Wynik segmentacji w oparciu o algorytm
wododziałowy
f) Wynik segmentacji w oparciu o wartości własne
macierzy kowariancji:
e)
f)
15
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Schemat blokowy głównego algorytmu segmentacji
Przetwarzanie wstępne
Detekcja kierunku 3D
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
16
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Blok wstępnego przetwarzanie obrazu:
Przetwarzanie wstępne
Detekcja kierunku 2D
Jego celem jest odszumienie obrazu oraz wzmocnienie
Kontrastu elementów tekstury tworzących α-płatki
Odszumienie realizowane jest za pomocą filtru
medianowego 3D z maską o rozmiarze 3x3x3 woksele
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
Wzmocnienie kontrastu odbywa się następująco (dla obrazów 2D):
gdzie:
A – obraz wejściowy , po odszumieniu,
B – binarna wersja obrazu A,
C – obraz wyjściowy,
(A, B i C mają takie same rozmiary).
17
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Przetwarzanie wstępne
Blok usuwania tla
Detekcja kierunku 2D
Binaryzacja obrazu
Usuwanie tła
Jego celem jest usunięcie z obrazu pikseli reprezentujących
Fazę β (ciemne obszary pomiędzy α-płatkami.)
Obywa się to następująco:
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
gdzie:
- Obraz po usunięciu tła,
A – obraz wejściowy,
B – binarna wersja obrazu A.
a)
b)
c)
d)
Obraz po detekcji kierunku za pomocą metody
CHG
Obraz po detekcji kierunku za pomocą metody
CT
Obraz (a) po usunięciu tła
Obraz (b) po usunięciu tła
a)
b)
c)
d)
18
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Blok odszumiania
Przetwarzanie wstępne
Detekcja kierunku 2D
Odszumianie polega na przypisaniu do każdego woksela klasy „obiekt” wartości
dominującej w jego otoczeniu. Otoczenie to obszar o rozmiarze WxW lub
WxWxW ( zazwyczaj 21<W<31 )
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
Posiada jednak pewną wadę :
bardzo długi czas przetwarzania, rzędu kilku godzin. Im większy obraz lub
rozważane otoczenie woksela (W), tym dłuższy czas przetwarzania.
II-poziom klasyfikacji
Obraz wyjściowy
Dlatego zaproponowano metodę alternatywną wykorzystująco operator
konwolucji
gdzie:
I – obraz po usunięciu tła
m – ilość klas
h – maska konwolucyjna o rozmiarze WxW (WxWxW)
19
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Przetwarzanie wstępne
Blok klasyfikacji I-poziomu
Detekcja kierunku 2D
Jego celem jest rekonstrukcja obiektów reprezentujących αkolonie na podstawie wykrytych α-płatków. Obywa się o
przy wykorzystaniu transformaty dystansu.
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
Obraz po odszumianiu
Obraz po klasyfikacji
I-poziomu
20
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Przetwarzanie wstępne
Blok klasyfikacji II-poziomu
Detekcja kierunku 2D
Binaryzacja obrazu
Usuwanie tła
Z czego wynika potrzeba zastosowania
Klasyfikacji II-poziomu ?
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
A
B
C
D
E
21
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Blok klasyfikacji II-poziomu (wersja dla obrazów 2D)
Przetwarzanie wstępne
Detekcja kierunku 2D
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
22
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Blok klasyfikacji II-poziomu (wersja dla obrazów 3D)
Przetwarzanie wstępne
Detekcja kierunku 2D
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
23
3. Algorytm segmentacji obrazów teksturowanych stopów tytanu
Przetwarzanie wstępne
Blok klasyfikacji II-poziomu
Detekcja kierunku 2D
Obraz po I etapie klasyfikacji
CHG
CT
Binaryzacja obrazu
Usuwanie tła
Odszumianie
I-poziom klasyfikacji
II-poziom klasyfikacji
Obraz wyjściowy
Obraz po II etapie klasyfikacji
24
4. Uzyskane Rezultaty – miary oceny jakości
Mierniki jakości segmentacji: analizują poprawność segmentacji na podstawie zgodności krawędzi obiektów.
W tym przypadku krawędzie odpowiadają granicą pomiędzy α-koloniami .
Mierniki pochodzące z literatury:
Miernik FOM [1]:
Gdzie :
NI – liczba pikseli krawędzi obrazu wzorcowego
NF – liczba pikseli krawędzi obrazu rzeczywistego
β – parametr skalujący, zazwyczaj wynosi 1/9.
d – mapa odległości pikseli granic rzeczywistych od pikseli granic wzorcowych
Miernik E [2]:
zbiór pikseli krawędzi obrazu wzorcowego
zbiór pikseli krawędzi obrazu po segmentacji
[1] W. K. Pratt, "Digital image processing", John Wiley & Sons, 1978, p. 429-432
[2] L. Ma and R. C. Staunton, "A modified fuzzy C - means image segmentation algorithm for use with uneven 25 illumination
25
patterns," Pattern Recognition, vol.40, pp. 3005-3011, 2007.
4. Uzyskane Rezultaty – miary oceny jakości
Miara własna (MW):
- Liczba pikseli poprawnie sklasyfikowanych
- Liczba pikseli niepoprawnie sklasyfikowanych
- parametr (pozwala regulować wpływ odległości pikseli niepoprawnie sklasyfikowanych)
- mapa odległości :
Mapa dystansu:
• piksele zaznaczone na czerwono oznaczają piksele
prawidłowych granic,
• piksele innych kierunków oznaczają elementy
nieprawidłowo wykryty krawędzi, czyli granic.
26
4. Uzyskane Rezultaty – Odporność na szum
27
4. Uzyskane Rezultaty – Ocena wpływu kontrastu na wyniki segmentacji
28
4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 2D
29
4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 2D
W porównaniu z metodą referencyjną uzyskane wyniki są średnio lepsze o:
• Dla metody opartej o dekompozycję Contourlet:
• Miara FOM: o 18,5%
• Miara E: o 7%
• Miara MW: o 16%
• Dla metody opartej o bank filtrów CHG:
• Miara FOM: 20%
• Miara E: 17%
• Miara MW: 20,1%
30
4. Uzyskane Rezultaty – Ocena jakościowa - obrazy 2D
Obraz wejściowy
wzorzec
II stopnień CHG
II stopień CT
20 XZ
124 XY
311 XY
31
4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 3D
Algorytm wykorzystujący bank filtrów CHG
Obraz
1 XZ
124 XY
180 YZ
25 YZ
80 YZ
250 XY
250 XZ
400 YZ
300 YZ
499 YZ
FOM
0.62
0.64
0.67
0.51
0.63
0.48
0.53
0.56
0.52
0.43
E
0.39
0.29
0.24
0.38
0.47
0.41
0.39
0.29
0.46
0.6
MW
0.62
0.64
0.67
0.49
0.58
0.47
0.52
0.55
0.5
0.41
Algorytm wykorzystujący dekompozycję Surfacelet
Obraz
1 XZ
124 XY
180 YZ
25 YZ
80 YZ
250 XY
250 XZ
400 YZ
300 YZ
499 YZ
FOM
0.32
0.44
0.5
0.4
0.64
0.48
0.29
0.36
0.42
0.43
E
0.52
0.51
0.31
0.58
0.41
0.43
0.79
0.69
0.66
0.67
MW
0.42
0.44
0.63
0.42
0.63
0.44
0.27
0.3
0.46
0.42
32
4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 3D
Rezultaty segmentacji obrazów 3D
CHG
CT
33
4. Uzyskane Rezultaty – Ocena jakościowa. Problem oceny jakości
segmentacji w kontekście badania wpływu mikrostruktury na rozwój
szczeliny
Obraz tomograficzny
Rezultat po
odszumianiu
Rezultat po Ipoziomie klasyfikacji
szczelina
34
4. Uzyskane Rezultaty – Ocena jakościowa. Problem oceny jakości
segmentacji w kontekście badania wpływu mikrostruktury na rozwój
szczeliny
α-kolonie z wyznaczoną
orientacją kierunkową
szczelina
35
5. Podsumowanie
Wnioski / podsumowanie
–
–
–
–
Zaproponowane metody segmentacji pozwalają na satysfakcjonującą
segmentację obrazów krystalicznych stopów tytanowych (Teza 1)
Banki filtrów CHG pozwalają na analizę orientacji kierunkowej
tekstury
Algorytm oparty o bank filtrów CHG pozwala osiągnąć najlepsze
rezultaty, zarówno w przypadku 2D oraz 3D, w porównaniu z
pozostałymi, zaproponowanymi metodami (Teza 2).
Algorytm zarówno w wersji 2D jak i 3D (i przy wykorzystaniu
banku filtrów CHG) pozwala na przeprowadzenie procesu
segmentacji w akceptowalnym czasie
36
5. Literatura
1. Babout L., Jopek Ł., Janaszewski M., Preuss M., Buffere J. : Towards the texture segmentation of X-ray topography images
of lamellar microstructure in titanium base alloys, Przebieg Piątego Międzynarodowego Sympozjum Tomografii Procesowej,
Zakopane 2008, s. 168-173
2. Jopek Ł., Postolski M., Nowotniak R., Babout L., Janaszewski M. : Zastosowanie kwantowych algorytmów genetycznych
do selekcji cech, Przetwarzanie i analiza sygnałów w systemach wizji i sterowania, Zeszyty naukowe AGH „Automatyka”,
2009 , pp 1219:1232
3. Janaszewski M., L. Babout., Postolski M., Jopek Ł.: Zamykanie otworów w trójwymiarowych obiektach wolumetrycznych.
Zeszyty Naukowe AGH, Automatyka 2009, pp. 865-878, 2010.
4. Janaszewski M., L. Babout., Postolski M., Jopek Ł.: Segmentacja otworów w obiektach wolumetrycznych. Zeszyty
Naukowe AGH, Automatyka 2009, pp.855-864, 2010.
5. Jopek Ł., Babout L., Janaszewski M., Postolski M.:A new method to segment X-ray tomography images of lamellar,
Zeszyty Naukowe AGH “Automatyka, 2010, pages: 301:315
6. Postolski M., Janaszewski M.,Jopek Ł.,Babout L..: 3D skeletonization of pulmonary airway tree structures “Automatyka,
2010
7. Jopek Ł., Babout L., Janaszewski M., Postolski M.: Nowa metoda segmentacji obrazów stopów tytanowych, wykonanych
za pomocą tomografii rentgenowskiej, wykorzystująca transformatę Contourlet, Zeszyty Naukowe AGH ‘Automatyka’ 2011,
pages: 161-176
8. Postolski M., Janaszewski M., Jopek Ł., Babout.: Wyznaczanie kierunku stycznej do dowolnego punktu trójwymiarowej
krzywej wolumetrycznej w ilościowej analizie ludzkich drzew oskrzelowych, Zeszyty Naukowe AGH ‘Automatyka’ 2011 pp:
219:234
9. Janaszewski M., Postolski M., Babout L., Jopek Ł.: Zamykanie topologicznych i wolumetrycznych otworów w obiektach
3D, Zeszyty Naukowe AGH ‘Automatyka’ 2011,
10. Jopek, Ł., Babout, L., Janaszewski, M.: A new method to segment x-ray microtomography images of lamellar titanium
alloy based on directional filter banks and gray level gradient. Computer Vision and Graphics, volume 7594 of Lecture Notes
in Computer Science. Springer Berlin Heidelberg. ISBN 978-3-642-33563-1, pages 105–112.
11. Jopek Ł., Babout L., Janaszewski M., Postolski M.:"Multistage segmentation of lamellae colonies based on directional
filter bank and PCA analysis", Image Processing & Communications, Volume 17, Issue 4, Pages 93–102, ISSN 1425-140X
12. Babout L., Jopek Ł, Janaszewski M.:A New Directional Filter Bank for 3D Texture Segmentation: Appli-cation to
Lamellar Microstructure in Titanium Alloys, The 13th IAPR Conference on Machine Vision Applications (MVA 2013)
13. Babout L., Jopek Ł, Janaszewski M.: Extraction of complex microstructural pattern in X-ray
microtomography images: application to lamellar titanium alloy, 7th World Congress on Industrial Process Tomography,
WCIPT7, 2-5 September 2013, Krakow, Poland, pages:703-711 ISBN: 978 0 85316 323 7
37
Dziękuje za uwagę
38