Transcript ppt
패턴인식 개론
Ch.7 이차 분류기
-1-
학습목표
•
이 장에서는 이차 분류기를 소개한다.
•
이차 분류기는 판별함수가 가우시안 분포를 이룰 때, 판별식이 행렬의 이차 형
식으로 표현되기 때문에 붙여진 용어이다.
•
이 장에서는 공분산 행렬의 각각의 종류에 따른 여러 가지 판별함수의 형태를
소개한다.
-2-
이차 분류기
가우시안 분포의 공분산행렬의 종류에 따라 여러 형태가 존재
2 0
0
Case 1: i 2 I 0 2 0
2
0
0
여기에서 i 는 서로 다른 클래스를 말함.
1) 클래스들의 분산이 모두 같으며
2) 공분산행렬이 대각이며
3) 모든 방향으로의 분산이 같은 경우.
12 0
0
2
Case 2 : i 0 2
0
2
0
0
3
1) 클래스들의 분산이 모두 같으며
2) 공분산행렬이 대각이며
3) 모든 방향으로의 분산이 같지는 않은 경우
12 c12 c13
2
Case 3 : i c12 2
c23
2
c
c
13
23
3
1) 클래스들의 분산이 모두 같지만
2) 공분산행렬이 비대각인 경우
i 2 0
0
1) 클래스들의 분산이 모두 다르지만
2
2
Case 4 : i i I 0 i
0
2) 공분산행렬이 대각인 경우
2
0
0 i
Case 5 : i j (일반형)
1) 클래스들의 분산이 모두 다르며,
2) 공분산행렬이 비대각인 경우
-3-
이차 분류기
-4-
이차 분류기 Case 1:
2 0
0
Case 1: i 2 I 0 2 0
2
0
0
특징들이 서로 독립적이면서
각 클래스들의 분산이 모두 같은 경우이다.
모든 클래스, i,에 대하여 상수인 특징벡터의 내적
를 제거하면
사전확률( P(ωi) )이 같다고 하면
판별함수는 X 와 평균들
간의 유클리디안 거리함수
-5-
이차 분류기
Case 1:
Example
다음과 같은 평균과 공분산을 갖는 3클래스
2차원문제의 결정경계를 구하여보자
-6-
이차 분류기
Case 2:
12 0
0
2
Case 2 : i 0 2
0
2
0
0
3
모든 클래스에 대하여 상수인
x[k ]
클래스들의 분산이 모두 같지만
각 특징들의 분산은 서로 다른 경우이다.
2
N
1
2
과 log k
2
k 1
1 N 2 x[k ]i [k ] i [k ]2
g i ( x)
log( P(i ))
2
2 k 1
k
-7-
를 제거하면
이차 분류기
Case 2:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
-8-
이차 분류기
Case 3:
12 c12 c13
2
Case 3 : i c12 2
c23
2
c
c
23
3
13
모든 클래스에 대하여 상수인
클래스들의 분산이 모두 같지만
분산이 비대각인 경우이다.
를 제거하면
판별함수는 X 와 평균들 간
의 마할라노비스 거리함수
-9-
이차 분류기
Case 3:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 10 -
이차 분류기
Case 4:
i 2 0
0
2
2
Case 4 : i i I 0 i
0
2
0
0
i
각 클래스들의 분산은 서로 다르면서
대각인 경우이다.
- 11 -
이차 분류기
Case 4:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 12 -
이차 분류기
Case 5:
Case 5 : i j
(일반형)
- 13 -
이차 분류기
Case 5:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 14 -
이차 분류기
•
베이즈 분류기는 이차분류기이다
첫째, 클래스들이 [1] 모두 가우시안 분포에 따르고
[2] 동일한 일반적 공분산 값을 가지며
12 c12 c13
[3] 사전 확률이 같을 경우
2
Case 3 : i c12 2
c23
2
c
c
13
23
3
“최소-마할라노비스 (mahalanobis) 거리 분류기”
둘째, 클래스들이 [1] 모두 가우시안 분포에 따르고
[2] 동일한 항등 행렬에 비례하는 공분산 값을 가지며
[3] 사전 확률이 같을 경우
2 0
0
Case 1: i 2 I 0 2 0
2
0
0
“ 최소-유클리디안 (euclidian) 거리 분류기”
- 15 -
이차 분류기
Example
3차원 특징 벡터 집합으로부터 정의 되는 다음과 같은 가우시안 파라미터로 이루어진 클래스
ω1, ω2 에 대한 선형판별함수를 유도하고 특징벡터 x=[0.1 0.7 0.8]T 가 어느 클래스에 속하는
지 결정하시오.
0
1 / 4 0
1 0 0 0T ; 2 1 1 1T ; 1 2 0 1 / 4 0 ; p(2 ) 2 p(1 )
0
0 1 / 4
T
x 1 1
1
1
g i(x ) (x i )T i1(x i ) lnP (i ) x 2 2
2
2
x 3 3
T
x1 0
1
g 1(x ) x 2 0
2
x 3 0
4 0 0 x 1 0
1
0
4
0
x
0
ln
2
3
0 0 4 x 3 0
1
g1 ( x )
2
4 0 0 x 1 1
0
4
0
x
2
2
lnP (i )
0 0 4 x 3 3
T
x 1 1
1
g 2 (x ) x 2 1
2
x 3 1
1
4 0 0 x 1 1
2
0
4
0
x
1
ln
2
3
0 0 4 x 3 1
1
2
2(x 12 x 22 x 32 ) ln
2((x 1 1)2 (x 2 1)2 (x 3 1)2 ) ln
3
3
g 2 ( x)
1
1
2
0.1 0.7 0.8 1.6
6 ln2
x1 x 2 x 3
1 .32
4
2
2
- 16 -
1.32
x u 2