Transcript 웨이브렛 프레임과 공간 정보를 이용한 질감 영상 분할 Texture

웨이브렛 프레임과 공간 정보를
이용한 질감 영상 분할
Texture Segmentation Using Wavelet Frame
and Spatial Information
지도교수: 조 석 제
예병길
제어계측공학과
발표 순서
1. 서 론
2. 웨이브렛 변환을 이용한 질감 영상 분할
3. 제안한 질감 영상 분할 방법
4. 실험 및 고찰
5. 결 론
1. 서 론
 질감 영상(texture image)
► 질감으로 표현되어지는 영상
 질감 영상 분할
► 질감의 특징을 이용하여 영상을 분할하는 것
► 위성 사진, 의료 영상 등을 분석
a. 위성 사진
b. 의료 영상
그림 1.1 질감 영상의 예
질감 영상 분할의 일반적인 과정
Texture image
Feature extraction
Feature vector
Classification
Class map
Segmentaion
image
1. 서 론
 질감 특징을 추출하는 방법
► 통계적인 방법
국부적인 묘사만 가능
► 구조적인 방법
► 스펙트럼을 이용한 방법
– 푸리에 스펙트럼 이용한 방법
• 영상의 전반적인 주기성을 검출
• 영상의 국부적인 묘사가 불가능
– 필터링을 이용한 방법
• 영상에서 주파수별로 질감의 특징을 추출
• 웨이브렛 변환을 이용
1. 서 론
 웨이브렛 변환을 이용한 질감의 특징 추출
► 방법
– 웨이브렛 변환 계수의 포락선(envelop)을 이용
► 장점
– 공간 영역에서 주파수 별로 질감의 특징을 추출
► 단점
– 여러 질감을 묘사하기 위해서는 많은 분해가 필요
– 계산량이 많음
– 영상 분할 결과가 나쁨
1. 서 론
 제안한 질감 영상 분할 방법
► 질감의 특징을 추출
– 이산 웨이브렛 프레임(discrete wavelet frame)
 계산량이 감소
– 공간 정보
 픽셀 간의 연관성을 높임
2. 웨이브렛 변환을 이용한
질감 영상 분할
 질감의 특징 추출
► 웨이브렛 패킷 프레임
– 웨이브렛 변환 계수의 포락선을 이용
 질감 영상 분할
► 클러스터링 알고리즘을 사용
Input
Wavelet transform
(Discrete Wavelet
Pcket Frame)
...
Envelop
(Zero-crossing method))
...
Smoothing
(Median fiter)
...
Clustering algorithm
(Isodata)
Output






Wavelet
coefficients
Envelop
values
Feature
vector
Class
map
}
Feature
extraction
Classification
그림 2.1 질감 영상 분할 알고리즘의 순서도
2. 웨이브렛 변환을 이용한 질감 영상 분할
 웨이브렛 변환
► 정의
– 여러 주파수 대역에서 시간과 주파수의 해상도를 변환시키
면서 신호를 해석
► 특징
– 공간 영역에서 각 주파수 대역의 신호를 추출
► 방법
– 기본 웨이브렛 함수를 스케일과 천이 시킨 기저함수와 입력
신호의 내적
2. 웨이브렛 변환을 이용한 질감 영상 분할
 기본 웨이브렛 함수 (t)






 (t )dt  0
|  (t ) |2 dt  
그림 2.2 기본 웨이브렛 함수의 예
(2.1)
(2.2)
2. 웨이브렛 변환을 이용한 질감 영상 분할
 기저함수: 기본 웨이브렛의 스케일과 천이
1
t b
 a ,b (t )   

a  a 
 웨이브렛 변환의 정의
W (a, b)    a ,b (t ) | f (t ) 
(2.4)

   a ,b (t ) f (t )dt

a
1
(2.3)
x
b
그림 2.3 기본 웨이브렛 함수의 스케일과 천이
 이산 웨이브렛 변환
그림 2.4 이산 웨이브렛 변환의 구조
H:저대역 통과 필터, G:고대역 통과 필터
2: 다운 샘플링
 이산 웨이브렛 패킷 변환
► 패킷들을 웨이브렛 변환하는 것
– 패킷: 웨이브렛의 출력 신호
2. 웨이브렛 변환을 이용한 질감 영상 분할
a. woman 영상
b. 이산 웨이브렛 변환
c. 이산 웨이브렛 패킷 변환
그림 2.5 웨이브렛 변환과 웨이브렛 패킷 변환
2. 웨이브렛 변환을 이용한 질감 영상 분할
 질감의 특징 추출
► 이산 웨이브렛 패킷 프레임 이용
– 이산 웨이브렛 패킷 변환에서 다운 샘플링을 생략
– 주파수별 질감을 추출
► 변환 영상의 포락선을 구함
– 포락선: 신호의 최대값을 연결하여 구성된 신호
Input
H0
G0
(Low-Pass Filter)
(High-Pass Filter)
W1 0
W11
H1
G2
H2
G2
W20
W21
W22
W23
(Low-Pass Filter) (High-Pass Filter) (Low-Pass Filter) (High-Pass Filter)
그림 2.6 2단계 이산 웨이브렛 패킷 프레임
2. 웨이브렛 변환을 이용한 질감 영상 분할
5
0
-5
a. 입력 신호
5
0
-5
b. W10 신호와 포락선
1.5
0
-1.5
c. W11 신호와 포락선
그림 2.7 1차원 신호의 웨이브렛 패킷 프레임 신호와 포락선 (계속)
2. 웨이브렛 변환을 이용한 질감 영상 분할
1.5
0
-1.5
d. W12 신호와 포락선
0.6
0
-0.6
e. W13 신호와 포락선
그림 2.7 1차원 신호의 웨이브렛 패킷 프레임 신호와 포락선
2. 웨이브렛 변환을 이용한 질감 영상 분할
 특징 추출
► 포락선 영상의 각각의 픽셀에 대한 특징
벡터
~
Vi , j {WkL,i , j |0k ( 4L 1) }
~
WkL,i , j : 점 (i,j)의 포락선 값
L: 웨이브렛의 단계
k: 변환 영상의 인덱스
(2.5)
2. 웨이브렛 변환을 이용한 질감 영상 분할
 영상 분할
► 클러스터링 알고리즘을 사용
– isodata 알고리즘
: 클러스터링 과정에서 클러스터의 정보들을 이용해
클러스터의 분할과 결합을 발생
2. 웨이브렛 변환을 이용한 질감 영상 분할
 문제점
► 계산량이 많음
► 특징의 수가 많아 계산 속도가 느림
► 픽셀 사이의 연관성이 작아 잡음에 민감
3. 제안한 질감 영상 분할 방법
 이산 웨이브렛 프레임을 사용
► 계산량이 감소
 공간 정보 첨가
► 픽셀 사이의 공간적인 연관성을 높임
3. 제안한 질감 영상 분할 방법
Input
Wavelet transform
(Discrete Wavelet
Frame)
...
Envelop
(Zero-crossing method))
...
Spatial Information
(Position values)
Smoothing
(Median fiter)
...
Clustering algorithm
(Isodata)
Output






Wavelet
coefficients
Feature
extraction
Envelop
values
Feature
vector
}
Class
map
그림 3.1 제안한 알고리즘의 순서도
Classification
 영상의 이산 웨이브렛 변환과 프레임
H ( y)
H (x)
G (x)
2 1
L1
G( y)
2 1
D11
H ( y)
2 1
D12
2 1
D13
2 1
2 1
G( y)
그림
그림3.2
2.6이산
이산웨이브렛
웨이브렛프레임
변환
3. 제안한 질감 영상 분할 방법
 질감을 묘사하기 위한 특징
► 웨이브렛 프레임 계수
– 이산 웨이브렛 프레임의 포락선
– 주파수 대역 별 질감의 특징을 추출
► 공간 정보
– 위치 좌표값
– 픽셀 간의 연관성
3. 제안한 질감 영상 분할 방법
 특징 벡터
Vi , j

~1
~ 2 ~3
 {d l i , j , d l i , j , d l i , j } |1l  L , i, j
~ ~ ~
dl1 , dl2 , dl3 : Dl1 , Dl2 , Dl3 의
포락선 값
l: 웨이브렛 변환 단계
1, 2, 3: 웨이브렛의 변환 방향
(1: 가로, 2: 세로, 3: 대각 방향)
i,j: 위치 좌표 값
 클러스터링 방법
► isodata 알고리즘 사용

(3.1)
3. 제안한 질감 영상 분할 방법
a. 입력 신호
b. 분할 결과
c. 공간 정보를 첨가했을 때의 분할 결과
그림 3.3 공간 정보를 첨가했을 때의 효과
4. 실험 및 고찰
실험 영상
►Brodatz album의 질감 영상
– 256256 흑백 영상
웨이브렛 필터
►Symmetric Filter
4. 실험 및 고찰
실험 A
기존의 방법
a) 실험 영상 A
제안한 방법
b) 영상 분할 결과 영상
그림 4.1 4개의 질감이 포함된 질감 영상의
영상 분할 결과 비교
4. 실험 및 고찰
실험 B
기존의 방법
a) 실험 영상 A
제안한 방법
b) 영상 분할 결과 영상
그림 4.2 경계가 곡선인 질감 영상의
영상 분할 결과 비교
4. 실험 및 고찰
실험 C
기존의 방법
a) 실험 영상 A
제안한 방법
b) 영상 분할 결과 영상
그림 4.3 비슷한 명암도의 질감으로 이루어진
질감 영상의 영상 분할 결과 비교
4. 실험 및 고찰
표 4.1 영상 분할 알고리즘 비교
변환
특징
특징 벡터의
차원
기존의 방법
제안한 방법
이산 웨이브렛
패킷 프레임
이산 웨이브렛 프레임
웨이브렛 계수의
포락선 값
웨이브렛 계수의
포락선 값
공간 정보
.
192
4단계 변환: 192
14
4단계 변환: 12
위치 좌표 값: 2
클러스터링
알고리즘
isodata
isodata
처리 시간
1
0.05
5. 결 론
 웨이브렛 프레임과 공간 정보를 이용한
영상 분할
► 방법
– 4단계 웨이브렛 프레임
– 공간 정보를 첨가
► 장점
– 계산량 감소
► 질감 영상 분할의 성능 향상
Brodatz album
(Textures a photographic album for artists and designers)
2. 웨이브렛 변환을 이용한 질감 영상 분할
(t-t0)
t0
T
t
a. 정현파에 임펄스가 첨가된 신호
f
f
t0
b. 시간 영역
T
t
f
t0
c. 주파수 영역
T
t
t0
T
t
d. 시간-주파수 영역
입력신호의 시간, 주파수, 시간-주파수 영역
2. 웨이브렛 변환을 이용한 질감 영상 분할
0
0
500
1000
t
a. 1차원 입력신호
1
a
64
0
500
b. 1차원 웨이브렛 변환
1차원 웨이브렛 변환의 예
1000
t
Symmetric wavelet
Input
H
G
W10
W11
H
G
H
G
W20
W21
W22
W23
H
G
H
G
W20
W21
W22
W23
Input
H
G
W10
W11
H
G
H
G
W20
W21
W22
W23