Transcript ppt

패턴인식 개론
Ch.5 확률 변수와 확률 분포
-1-
 확률변수
■ 확률변수란 무엇인가?
• 주사위 던졌을 때 3이 나올 확률을 P(X=3) = 1/6
또는 사람의 몸무게가 70kg 일 확률밀도를 p(X=70) = 0.032로 표현할 때,
이처럼 시행 결과 하나 하나를 수치로 대응시키는 X 를
'확률변수' 혹은 '랜덤변수(random variables)‘라 정의한다.
• 랜덤변수 X 는 이와 같이 시행 결과 ζ (zeta) 를 실수치 X(ζ) 로 대응시키는 함수로서,
샘플공간의 모든 요소들을 실수(또는 실선)에 매핑을 수행하게 된다.
랜덤변수(random variables)는
주사위 굴리기의 결과와 같이 이산변수(discrete
variable)일 경우도 있고,
표본 추출된 몸무게와 같이 연속변수(continuous
variable)일 수도 있다.
-2-
 확률분포
■ 확률 분포란 무엇인가?
• 수치로 대응된 확률변수의 개별 값들이 가지는 확률 값의 분포를 “확률분포”라 함.
• 확률변수가 취할 수 있는 구체적인 값 하나 하나를  확률공간상의 확률 값으로 할
당해 주는 함수를 “확률분포함수”라 함.
예1) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자
예2) 두 개의 주사위를 던져서 나오는 점들의 합
-3-
 확률함수의 종류
■ 누적분포함수
확률변수 X의 누적분포함수 ( cumulative
distribution function, cdf ) FX (x)는
확률변수 X 가 {X ≤ x} 인 확률함수이다.
FX ( x)  P[ X  x] for    x  
■ 누적분포함수의 성질
0  FX ( x)  1
lim FX ( x)  1
x 
lim FX ( x)  0
x  
FX (a)  FX (b) if a  b
-4-
 확률함수의 종류
■ 확률밀도함수와 확률질량함수
확률밀도함수 (probability density function, pdf), fx(x) 는
연속확률변수 X 의 누적분포 Fx (x) 의 미분값으로 정의한다.
이산확률변수에서는 확률밀도함수와 동일한 개념으로 이를 특
별히 확률질량함수 (probability mass function, pmf)라고 한다.
f X ( x) 
f X ( x) 
■ 확률밀도함수의 성질
f X ( x)  0
b
P[a  x  b]   f X ( x)dx
a
x
FX ( x) 
f
X
( x)dx


1
f
X
( x)dx

f X ( x | A) 
d
P[{ X  x}  A]
FX ( x | A) where FX ( x | A) 
if P[ A]  0
dx
P[ A]
-5-
dFX ( x)
dX
FX ( x)
X
 확률함수의 종류
■ 확률밀도함수에서 확률의 의미
확률밀도함수는 확률의 밀도를
정의하는 것이므로, 실제 확률
을 얻기 위해서는 확률밀도함수
를 일정구간에서 적분하여야 함.
확률질량함수는 실제확률을
나타냄.
-6-
 확률함수의 종류
■ 기대값 : 확률변수의 평균
x
n
1 n
1
x   xi   nx x   x x
n i 1
n all x
n
all x
n
where x 는 상대돗수 (nx는 x 값을 가진 자료점의 수)
n
n 값을 증가시키면 통계적 확률, 즉 근사확률 p(x) 에 접근하게 된다.
그러므로 다음과 같이 되고,
E[x]     xp( x)
all x
이 식을 x의 기대값(expectation)이라고 한다. 이는 각 값의 가중 산술평균을 확률적
용어로 표현한 것인데, 어떤 실험을 무수히 반복했을 때 예상되는 평균 값을 말하며,
연속확률변수인 경우에는 다음과 같이 표현된다.
-7-
 확률함수의 종류
■ 확률변수의 분산/표준편차
이산자료의 확률변수 (일반자료 와 모집단자료)
1 n
2
2 nx
s 
(
x

x
)

(
x

x
)
 i

n  1 i 1
n 1
all x
2
where
 2   ( x   ) 2 p ( x)
all x
연속자료의 확률변수
-8-
nx
는 상대돗수
n 1
 벡터 랜덤변수
■ 벡터 랜덤변수
확률 변수를 2개 이상 고려한 경우로 확률변수의 개념을 확장한 것으로 열(column)벡터
로 정의된다. 2개의 랜덤변수를 고려한 경우를 이중 랜덤변수라고 한다. 즉, 표본 공간 S
에서 정의되는 두 개의 랜덤변수 X, Y 를 고려할 경우에 두 개의 랜덤 벡터는 각각 x, y
라는 값을 가지며 순서쌍 (x, y) 로 표현되는 새로운 표본 공간(이를 결합 표본공간이라고
한다)의 xy 평면상의 임의의 점(random point)에 대응될 것이다. 그리고 누적분포함수와
확률밀도함수 개념은 "결합 누적분포함수(joint cdf)"와 "결합 확률밀도함수(joint pdf)"로
확장된다.
-9-
 벡터 랜덤변수
■ 단일 랜덤변수의 누적 분포함수의 표현
FX ( x)  P{X  x}, FY ( y)  P{Y  y}
■ X,Y의 이중 벡터 랜덤변수의 누적 분포함수의 표현
FX ,Y ( x, y )  P{ X  x, Y  y}, P{ X  x, Y  y}  P( A  B)
■ 랜덤 벡터
가 주어질 경우
결합 누적분포함수 (Joint Cumulative Density Function)
결합 확률밀도함수 (Joint Probability Density Function)
- 10 -
 랜덤벡터의 통계적 특징
랜덤 벡터의 통계적 특징은 결합 누적분포함수(joint cdf) 혹은 결합 확률밀도함수(joint pdf)
를 이용하여 정의할 수 있다. 또한 랜덤 벡터를 스칼라 확률변수에서 정의한 것과 같은 방
식으로 표현할 수 있다.
평균 벡터
공분산 행렬 : 랜덤 벡터에서 차원의 각 특징간의 관계를 나타낸다.
공분산 행렬의 성질
- 11 -
 공분산 행렬과 상관계수
공분산 항은 다음과 같이 표현 될 수 있다.
cii   i2 이고, cik  ik i k , 여기서 ik 를 상관계수라 한다.
- 12 -
 공분산 행렬의 예
다음과 같이 3차원 분포의 표본이 주어진 경우, 공분산 행렬과 모든 변수 쌍에 대한 분산
플롯을 완성하시오.
- 13 -
 가우시안 분포
■ 단변량 가우시안(Gaussian) 확률밀도함수
2


1
1
x


2
f ( x;   0,   4) 
exp    
2 2
 2  2  
2


1
1
x


2
f ( x;   0,   25) 
exp    
2 5
 2  5  
2


1
1
x

2


2
f ( x;   2,   9) 
exp  
 
2
3
2 3
 
 
- 14 -
 가우시안 분포
■ 다변량 가우시안 확률밀도함수
  x1 
 1
1
2 0 
0.5 0   x1  1  
1


f   ;    ,   
exp  x1  1 x2  2
 
  x  2 
2
x
2
0
4
0
0
.
25
2
(
2

)
8





  2 
2





  x1 
 1
 0.5  x1  5  
5
1 2 
 2
1


f   ;    ,   
exp  x1  5 x2  9
 
  x  9 
2
x
9
2
8

0
.
5
0
.
25
2
(
2

)
2





  2 
2





- 15 -
 중심극한정리
■ 가우시안 분포가 자주 사용되는 이유
* 1차원의 특징 벡터일 경우에는 두 개의 파라미터, 평균과 표준편차 (μ,σ) 만으로도 정상
분포를 특징 짖기에 충분함.
* 중심극한정리(Central Limit Theorem)
중심극한정리(central Limit Theorem) : 평균, μ, 와 분산, σ 2,를 갖는 경우 평균의 표본
분포는 표본의 크기(N )가 증가함에 따라, 평균, μ, 과 분산, σ 2/N 을 갖는 정규분포로 접
근한다.
정규분포의 자료로부터 500번의 실험을 수행한 경
우
• N=1 : 분포로부터 하나의 표본을 추출하고 그의
평균을 기록 ( 히스토그램은 일정한 밀도를 보임)
• N=4 : 분포로부터 4개의 표본을 추출하고 그의
평균을 기록 (히스토그램은 가우시안 분포를 보이
기 시작함)
• N=7 그리고 N=10 경우도 마찬가지임.
• N이 증가함에 따라서 히스토그램의 모양이 점점
더 정상분포를 닮아 간다.
- 16 -
 가우시안 분포
■ 완전 공분산 가우시안 형태
 12 c12 

2
c

2
 12
 2 c12 
 1
2
 c12  2 
■ 대각 공분산 가우시안 형태
 12 0 

2
 0 2 
■ 구형 공분산 가우시안 형태
 2 0 

2
 0  
- 17 -
 가우시안 분포
■ MATLAB 실습
>> N=10000;
>> mu = [730 1090]; sigma_1=[8000 0; 0 8000];
>> X1= randn(N,2) *sqrtm(sigma_1) + repmat(mu,N,1);
>> gaussview(X1, mu, sigma_1,’amplitude X1’);
>> sigma_2=[8000 0; 0 18500];
>> X1= randn(N,2) *sqrtm(sigma_2) + repmat(mu,N,1);
>> gaussview(X1, mu, sigma_2,’amplitude X1’);
>> sigma_3=[8000 8400; 8400 18500];
>> X1= randn(N,2) *sqrtm(sigma_3) + repmat(mu,N,1);
>> gaussview(X1, mu, sigma_3,’amplitude X1’);
- 18 -