Transcript ppt

패턴인식 개론
Ch.7 이차 분류기
-1-
 학습목표
•
이 장에서는 이차 분류기를 소개한다.
•
이차 분류기는 판별함수가 가우시안 분포를 이룰 때, 판별식이 행렬의 이차 형
식으로 표현되기 때문에 붙여진 용어이다.
•
이 장에서는 공분산 행렬의 각각의 종류에 따른 여러 가지 판별함수의 형태를
소개한다.
-2-
 이차 분류기
가우시안 분포의 공분산행렬의 종류에 따라 여러 형태가 존재
 2 0
0


Case 1:  i   2 I   0  2 0 
2
0
0



여기에서 i 는 서로 다른 클래스를 말함.
 1) 클래스들의 분산이 모두 같으며
2) 공분산행렬이 대각이며
3) 모든 방향으로의 분산이 같은 경우.
 12 0
0 


2
Case 2 :  i     0  2
0 
2
 0
0

3


 1) 클래스들의 분산이 모두 같으며
2) 공분산행렬이 대각이며
3) 모든 방향으로의 분산이 같지는 않은 경우
 12 c12 c13 


2
Case 3 :  i     c12  2
c23 
2
c
c

13
23
3


 1) 클래스들의 분산이 모두 같지만
2) 공분산행렬이 비대각인 경우
 i 2 0
0 

  1) 클래스들의 분산이 모두 다르지만
2
2
Case 4 :  i   i I   0  i
0 
2) 공분산행렬이 대각인 경우
2
0
0  i 

Case 5 :  i   j (일반형)
 1) 클래스들의 분산이 모두 다르며,
2) 공분산행렬이 비대각인 경우
-3-
 이차 분류기
-4-
 이차 분류기 Case 1:
 2 0
0


Case 1:  i   2 I   0  2 0 
2
0
0



특징들이 서로 독립적이면서
각 클래스들의 분산이 모두 같은 경우이다.
모든 클래스, i,에 대하여 상수인 특징벡터의 내적
를 제거하면
사전확률( P(ωi) )이 같다고 하면
판별함수는 X 와 평균들
간의 유클리디안 거리함수
-5-
 이차 분류기
Case 1:
Example
다음과 같은 평균과 공분산을 갖는 3클래스
2차원문제의 결정경계를 구하여보자
-6-
 이차 분류기
Case 2:
 12 0
0 


2
Case 2 :  i     0  2
0 
2
 0
0

3


모든 클래스에 대하여 상수인
x[k ]
클래스들의 분산이 모두 같지만
각 특징들의 분산은 서로 다른 경우이다.
2
N
1
2
과  log   k
2
k 1
1 N 2 x[k ]i [k ]  i [k ]2
g i ( x)  
 log( P(i ))
2
2 k 1
k
-7-
를 제거하면
 이차 분류기
Case 2:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
-8-
 이차 분류기
Case 3:
 12 c12 c13 


2
Case 3 :  i     c12  2
c23 
2
c
c

23
3 
 13
모든 클래스에 대하여 상수인
클래스들의 분산이 모두 같지만
분산이 비대각인 경우이다.
를 제거하면
판별함수는 X 와 평균들 간
의 마할라노비스 거리함수
-9-
 이차 분류기
Case 3:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 10 -
 이차 분류기
Case 4:
 i 2 0
0 


2
2
Case 4 :  i   i I   0  i
0 
2
0
0

i 

각 클래스들의 분산은 서로 다르면서
대각인 경우이다.
- 11 -
 이차 분류기
Case 4:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 12 -
 이차 분류기
Case 5:
Case 5 : i   j
(일반형)
- 13 -
 이차 분류기
Case 5:
다음과 같은 평균과 공분산을 갖는
3클래스 2차원문제의 결정경계를
구하여보자
- 14 -
 이차 분류기
•
베이즈 분류기는 이차분류기이다
첫째, 클래스들이 [1] 모두 가우시안 분포에 따르고
[2] 동일한 일반적 공분산 값을 가지며
 12 c12 c13 
[3] 사전 확률이 같을 경우


2
Case 3 :  i     c12  2
c23 
2
c
c

13
23
3


 “최소-마할라노비스 (mahalanobis) 거리 분류기”
둘째, 클래스들이 [1] 모두 가우시안 분포에 따르고
[2] 동일한 항등 행렬에 비례하는 공분산 값을 가지며
[3] 사전 확률이 같을 경우
 2 0
0


Case 1:  i   2 I   0  2 0 
2
0
0



 “ 최소-유클리디안 (euclidian) 거리 분류기”
- 15 -
 이차 분류기
Example
3차원 특징 벡터 집합으로부터 정의 되는 다음과 같은 가우시안 파라미터로 이루어진 클래스
ω1, ω2 에 대한 선형판별함수를 유도하고 특징벡터 x=[0.1 0.7 0.8]T 가 어느 클래스에 속하는
지 결정하시오.
0 
1 / 4 0
1  0 0 0T ; 2  1 1 1T ; 1   2   0 1 / 4 0 ; p(2 )  2 p(1 )
 0
0 1 / 4
T
 x 1  1 
1
1

g i(x )   (x  i )T i1(x  i )  lnP (i )   x 2  2 
2
2
x 3   3 


T
 x1  0 
1

g 1(x )   x 2  0 
2
x 3  0 


4 0 0   x 1  0 
1



0
4
0
x

0

ln

 2

3
0 0 4  x 3  0 



1
g1 ( x )


2
4 0 0   x 1  1 



0
4
0
x


2
2


  lnP (i )
0 0 4  x 3  3 



T
 x 1  1
1

g 2 (x )   x 2  1
2
x 3  1


1
4 0 0   x 1  1
2



0
4
0
x

1

ln

 2 
3
0 0 4  x 3  1



1 
2
 2(x 12  x 22  x 32 )  ln
 2((x 1  1)2  (x 2  1)2  (x 3  1)2 )  ln
3 
3
g 2 ( x)
1
1
2
0.1  0.7  0.8  1.6
 6  ln2
x1  x 2  x 3
 1 .32
4



2
2
- 16 -
1.32
 x u  2