Transcript 확률변수의 기대값, 분산 등

확률변수의 기대값, 분산 등
1. 기대값
2. 분산
3. 표준화 과정
4. 공분산과 상관계수
5. 조건부 기대값과 조건부 분산
(6. 누적확률분포함수)
7. 종합
8. 적률과 적률모함수
1. 기대값
어느 확률 변수 X 의 기대값
Notation : E[X] 혹은
Expectation
 X 혹은

주사위를 던져 나오는 수 : X
f(x)
1
1/6
2
1/6
3
1/6
X의 기대값 ?
4
1/6
5
1/6
6
1/6
E[X]=1*(1/6)+2*(1/6)+ . . . .+6*(1/6) =3.5
즉 X: DRV일 때 확률변수 X의 기대값은
E[ X ] 

 xf ( x )
x  
이와 비슷하게 X : CRV 이라면

E[ X ]   xf ( x )dx

기대값 계산의 예(DRV의 경우)
주사위를 던져 나오는 수의 제곱에 10배를 상금으로
준다고 할 때 상금의 기대값은 ?
주사위를 던져 나오는 수 : X
2
상금 : Y
Y  10 X
x
1
2
3
4
5
6
f(x)
1/6
1/6
1/6
1/6
1/6
1/6
y
10
40
90
160
250
360
f (y)
1/6
1/6
1/6
1/6
1/6
1/6
1
E[Y ]  10  40  90    360   152
6
확률변수 X의 확률함수 f ( x ) 가 주어져 있고
Y  h( X ) 의 관계가 있을 때

  h( x ) f ( x ) if
E[Y ]   x
 h( x ) f ( x )dx if
 x
X : DRV
X : CRV
기대값 계산의 예 :
x
y
2
4
f y ( y)
1
1/8
1/8
3
3/8
3/8
1/4
3/4
(1) 두 확률변수가 독립 ? Yes !
(2) E[X] = 2*(1/2)+4*(1/2) = 3
(3) E[Y] =1*(1/4)+3*(3/4) = 2.5
f x ( x)
1/2
1/2
기대값 계산의 예 : CRV의 경우
x
2

f ( x)  
0


답 : 4/3
for
0 x2
E[ X ]  ?
elsewhere
기대값 계산의 예
12 x( y  y 2 )
f ( x, y )  
0

0  x 1
for
0  y 1
elsewhere
(1) 두 확률변수가 독립 ?
1

 1 2 1 3 
f x ( x )   12 x ( y  y )dy  12 x  y  y    2 x
0
3  0
2

 2 x for 0  x  1
f x ( x)  
elsewhere
0
1
f y ( y )   12 x( y  y 2 )dx  6 x 2 y  y 2 10  6( y  y 2 )
1
2
0
6( y  y 2 )
f y ( y)  
0

 
for
두 확률변수는 서로 독립 !

0  y 1
elsewhere
(2) E[X] = ?
2 x
f x ( x)  
0
0  x 1
for
elsewhere
1
2
2 
E[ X ]   x( 2 x )dx   x 3  
0
3 0 3
1
(3) E[Y] = ?
6( y  y 2 )
f y ( y)  
0

1
for
0  y 1
elsewhere
1
1
 3 3 4
E[Y ]  y{6( y  y )}dy   2 y  y  
2 0 2

0

2
기대값 계산의 예 :
 2(1  x )
f ( x)  
 0
for
0  x 1
elsewhere
1
 2 2 3




E[ X ]  x 2 1  x dx   x  x 

0

3
1
1

3

0
기대값 계산의 예 : CRV의 경우
2(1  x)
f ( x)  
 0
for
0  x 1
elsewhere
2
E[ X ] 
(k  1)( k  2)
k
E[X ] :1st moment (1차 적률)
E[ X 2 ] : 2nd moment (2차 적률)
E[ X 3 ] : 3rd moment (3차 적률)
........
E[ X k ] : kth moment (k차 적률)
E[ X k ]  ?
기대값의 몇 가지 성질
(1) E[a] = a
(2) E[a X] = a E[X]
(3) E[a X + b] = a E[X] + b
2
E[ X ] 
(k  1)( k  2)
k
E[( 2 X  1) 2 ]  ?
일때
답:3
2. 분산 , Variance
어느 확률변수 X의 분산
2
2


Notation : Var[X] 혹은
혹은
X
Var[ X ]  E[( X   ) ] 로 정의된다.
2
Note :  X = 표준편차(standard deviation)
또한 Y  h( X ) 일 때 다음의 사실을 이미 알고 있다.

  h( x ) f ( x ) if
E[Y ]   x
 h( x ) f ( x )dx if
 x
X : DRV
X : CRV
Y  h( X )  ( X   )2 이라고 할 때,
Var[ X ]  E[( X   ) ]
2
2

  x ( x   ) f ( x ) if

2
(
x


)
f ( x )dx if


 x
X : DRV
X : CRV
분산의 몇 가지 성질
2
2
2
Var
[
X
]

E
[(
X


)
]

E
[
X
]


1.
혹은 E[X 2 ]   2   2
2. Var[ X  c ]  Var[ X ]
3.
Var[aX ]  a 2Var[ X ]
E[X]=10, Var[X]=100 그리고 Y = 2X - 3
E[Y ] = ?
답 : 17
Var[Y ] = ?
답 : 400
분산 계산의 예 : DRV 경우(앞서 예)
x
y
2
4
f y ( y)
1
1/8
3
3/8
1/8
1/4
3/8
3/4
E[X]=3, E[Y]=2.5를 이미 알고 있다.
Var[ X ]  E[( X   ) 2 ]  E[ X 2 ]   2
E[X 2 ] = 4*(1/2)+16*(1/2)=10
Var [X] = 10 – 9 = 1
f x ( x)
1/2
1/2
분산 계산의 예 : CRV 경우(앞서 예)
2 x
f x ( x)  
0
for
0  x 1
elsewhere
앞서 E[X] = 2/3를 계산하였다.
1
E[ X ] 
2
2
Var[X] = 1/18
Var[X]=1/18 일 때
Var[X+10]=1/18
Var[5X]=25/18
Var[5X+10]=25/18
그리고 E[X]=2/3 라고 한다면
E[X 2 ]   2   2 =1/18+(4/9) = 1/2
3. 표준화 과정
평균을 0, 분산을 1로 전환시키는 방법
확률변수 X의 평균이
표준화 : Z 
2

 이고, 분산이
X 

X   1
E[ Z ]  E 
 { E[ X ]   }  0

   
X  1
Var[ Z ]  Var 
 2 Var[ X   ]  1

   
확률변수 X의 평균이  이고, 분산이 
Z
2
X 

새로운 확률변수 Z는 평균이 0, 분산이 1이 된다.
2
예 : 표본평균 X 는 평균이  이고, 분산이
n
이다.
(이에 대한 증명은 추후 할 것임)
Z
X 
/ n
의 평균은 0이고 분산이 1이 된다.
4. 공분산과 상관계수
Notation : 공분산 Covariance
Cov[X, Y] 혹은  XY
상관계수 correlation coefficient
 XY
(1) 공분산
Cov[ X , Y ]  E[( X   X )(Y  Y )]
혹은
Cov[ X ,Y ]  E[ XY ]   X Y
(해 볼 것)
혹은
E[ XY ]  Cov[ X ,Y ]   X Y
E[X]와 E[Y]를 구하는 방법에 대해서는 앞서 공부
   xyf ( x , y ) if

E[ XY ]   y x
 y x xyf ( x , y )dxdy if

X , Y : DRV
X , Y : CRV
만약 E[X], E[Y], E[XY]를 계산할 수 있다면
Cov[ X ,Y ]  E[ XY ]   X Y
를 계산할 수 있을 것이다.
공분산 계산의 예 : 앞의 예(DRV의 경우)
x
y
2
4
f y ( y)
1
3
1/8
1/8
1/4
3/8
3/8
3/4
f x ( x)
1/2
1/2
Cov[ X ,Y ]  E[ XY ]   X Y
앞서 E[X]= 3, E[Y]= 2.5 를 이미 계산하였다
1
3
1
3 15
E[XY ]  2  1   2  3   4  1   4  3  
8
8
8
8 2
Cov[X,Y] = 15/2 - 3*(5/2) = 0
Note: 앞서 두 변수 간에 독립관계가 성립한다고 하였다.
만약 두 변수 X, Y : 독립이면
E[ XY ]  E[ X ]E[Y ] 이 성립하고,
Cov[ X , Y ]  E[ XY ]   X Y  0 이 성립한다.
(해 볼 것)
Note:
두 변수 X,Y : 독립
Cov[X,Y]=0
Cov[X,Y]=0 그러나 독립이 아닌 예: 교재 96쪽
x
y
0
1
2
3
f x ( x)
1
0
1/9
1/9
1/9
1/3
2
1/3
0
0
0
1/3
3
0
1/9
1/9
1/9
1/3
f y ( y)
3/9
2/9
2/9
2/9
E[XY] = 24/9, E[X] = 2, E[Y] = 4/3
1
1 1 1
f (2,0)   f x (2) f y (0)   
3
3 3 9
따라서
공분산=0
Cov[X,Y]=0
: 독립이 아님
독립
공분산 계산의 예 : CRV의 경우

2 3 ( x  2 y)
f ( x, y )  

0


 2 3 ( x  1)
f x ( x)  

0


 13 (1  4 y )
f y ( y)  

0

E[ XY ]  7 / 9
 XY  71/ 162
for
0  x 1
0  y 1
 XY  ?
elsewhere
for
0  x 1
elsewhere
for
0  y 1
elsewhere
E[ X ]  5 / 9
E[ X ]  11 / 18
분산 및 공분산의 성질
Var[ X  Y ]  Var[ X ]  Var[Y ]  2Cov[ X , Y ]
Var[aX  bY ]  a 2Var[ X ]  b 2Var[Y ]  2abCov[ X , Y ]
Cov[aX , bX  cY ]  abVar[ X ]  acCov[ X , Y ]
Var[aX  bY  cW ]  a 2 X2  b 2 Y2  c 2 W2
 2ab XY  2bc YW  2ac XW
(풀어 볼 것)
0 만약 모두 독립
일반화 X 1 , X 2 ,  , X n : 확률변수들
Var[a1 X 1  a2 X 2  an X n ]
n
  ai Var[ X i ]   2ai a j Cov[ X i , X j ]
i 1
2
i j
j
만약 모든 확률변수들이 독립
n
Var[a1 X 1  a 2 X 2   an X n ]   a i Var[ X i ]
i 1
2
Var[X]=10, Var[Y]=20, Cov[X,Y]=5
Var[3X-2Y]=110
(2) 상관계수
 XY 
Cov[ X , Y ]
 X Y
만약 X, Y: 독립
Cov[X,Y]=0
 XY  0
앞서 표준편차, 공분산이 계산되면 상관계수를 계산
5. 조건부 기대값과 조건부 분산
f ( x | y ) 혹은 f ( y | x ) 를 알고 있다면
조건부 기대값을 다음과 같이 구한다
  xf ( x | y ) if

E[ X | y ]   x
xf ( x | y )dx if

 x
  yf ( y | x ) if
 y
E[Y | x ]  
 y yf ( y | x )dy if

X : DRV
X : CRV
Y : DRV
X : CRVY
E[ X | y ]   X | y E[Y | x ]  Y | x 로 표기하기도 한다
f ( x | y)
혹은
f ( y | x ) 를 알고 있다면
조건부 분산을 다음과 같이 구한다
Var[ X | y]  E[( X   X | y )2 | y]
분산은 편차의 제곱의 기대값인데, Y = y라는 정보를 알고
있는 경우에는 이 정보를 이용하여야 할 것이다.
편차 = X   X | y
편차의 제곱의 기대값에서도 Y = y라는 정보를 이용
  ( x   X | y )2 f ( x | y ) if
 x
Var[ X | y]  
2
(
x


)
f ( x | y )dx if
 x
X|y
X : DRV
X : CRV
이와 비슷하게 X=x로 주어져 있을 때, Y의 분산은
Var[Y | x]  E[(Y  Y | x ) | x]
2
  ( y  Y | x )2 f ( y | x ) if
 y
Var[Y | x ]  
2
 y ( y  Y | x ) f ( y | x )dx if

Var[ X | y]  
2
X|y
Y : DRV
Y : CRV
Var[Y | x]   Y2| x 로도 표기한다
조건부 기대와 분산 계산의 예: CRV의 경우

2 3 ( x  2 y)
f ( x, y )  

0


0  x 1
for
0  y 1
elsewhere

(1) E X | Y  1 2  ?

 13 (1  4 y )
f y ( y)  

0


f x |Y  1

for


 2 3 ( x  1)

2 

0


E X |Y  1  5/9
2
0  y 1
elsewhere
for
0  x 1
elsewhere


(2) Var X | Y  1 2  ?

2  718
VarX | Y  1   13
2
162
E X 2 |Y  1
조건부 기대와 분산 계산의 예: DRV의 경우
0
1
2
3
f x ( x)
1
0
1/9
1/9
1/9
1/3
2
1/3
0
0
0
1/3
3
0
1/9
1/9
1/9
1/3
f y ( y)
3/9
2/9
2/9
2/9
x
(1)
y
E X | Y  0  2 Var [ X ]  0
f(x|0)
1
0
x
2
1
3
0
(2) VarY | X  1  2 3
(해 볼 것)
6. 누적확률분포함수
확률(밀도)함수 f(x)가 주어져 있을 때
 x
  f (t )
F ( x )  P[ X  x ]   t  
 x f ( t )dt
  
if
X : DRV
if
X : CRV
0  F ( x)  1
if x1  x 2  F ( x1 )  F ( x 2 )
: F는 non-decreasing function of x
Note
F ( x)  f ( x)
(1) DRV의 경우 그리고 X1  X 2    X n
f ( X1 )  F ( X1 )
f ( X i )  F ( X i )  F ( X i 1 ) for i  2, 3. . . .
(2) CRV의 경우
dF ( x )
f ( x) 
 F ' ( x)
dx
예 : DRV의 경우
x
0
1
2
f(x)
1/4
1/2
1/4
f(x)
 0
1 / 4

F ( x)  
3 / 4
 1
1
3/4
1/4
0
1
2
x
for
x0
for 0  x  1
for 1  x  2
for
2 x
예 : CRV의 경우
1
 x
f ( x)   2

 0
for
0 x 2
elsewhere
 0
1 2
F ( x)   x
4
 1
for
x0
for
0 x 2
for
2 x
F ( x )  f ( x ) 의 예 : DRV의 경우
 0
1
 6
F ( x)  
3
 6
1

for
x 1
for 1  x  2
for
2 x3
for
3 x
f ( x)  ?
F ( x )  f ( x ) 의 예 : CRV의 경우
 0
x 1
F ( x)  
 2
 1
for
x 1
for 1  x  3
for
3 x
f ( x)  ?
결합누적확률분포함수
 y x
   f ( s, t )
F ( x , y )  P[ X  x , Y  y ]   t  s  
 y x f ( s, t )dsdt
    
if
X , Y : DRV
if
X , Y : CRV
F ( x, y)
7. 종합
독립 ?
f ( x, y)
f x ( x)
X 
f y ( y)
Y  Y2
2
X
F ( y)
F ( x)
f ( y | x)
Y | x  Y2| x
f ( x | y)
 X | y  X2 | y
 XY  XY
예 : DRV의 경우
x
y
-1
2
f x ( x)
1
2/9
3/9
5/9
2
2/9
2/9
4/9
f y ( y)
4/9
5/9
공분산이 영이 아니다
독립이 아니다
Y  6 / 9
 X  13/ 9
 XY  6 / 81
  20 / 81
2
X
 XY  0.1
Var[2 X  3Y ]  1732 / 81
 X |Y  2  1* (3 / 5)  2 * ( 2 / 5)  7 / 5


2
7   3 
5  5 
 Y2  180 / 81
2
7  2
5  5
 X2 |2   1       2     
6
25
8. 적률과 적률 모함수
(moment & moment generating function;MGF)
  x k f ( x) if
 x
k
K차 적률 : E[ X ]  
r
x
f ( x)dx if


x

Note:
X : DRV
X : CRV
de ax  dax  ax
ax
and

e

ae

dx  dx 
e 1
0
Moment Generating Function
 
M (t )  E e tx
  e tx f ( x) if
 x

tx
e
f ( x)dx if


x
X : DRV
X : CRV
 
dM (t )
M ' (t ) 
 E xetx
dt
d 2 M (t ) dE[ xetx ]
2 tx
M ' ' (t ) 


E
x
e
2
dt
dt
d 3 M (t ) dE[ x 2etx ]
3 tx
M ' ' ' (t ) 


E
x
e
3
dt
dt

M ' (0)  E[ X ]


M ' ' (0)  E[ X 2 ]

M ' ' ' (0)  E[ X 3 ]
...........
따라서 적률모함수를 구할 수 있다면 k차 적률을
쉽게 구할 수 있게 된다
적률모함수의 예
M (t )  1  t  t 2  t 3  
E[ X ]  1
E[ X 2 ]  2
Var[ X ]  1
적률모함수의 예 : 이항분포의 적률모함수 이용


M (t )  pe  (1  p)
t

n
: 이항분포의 적률모함수

n 1 t
dM( t )
t
E[ X ] 
 n pe  (1  p)
pe
 np
t0
dt t  0
dM ' (t )
E[ X ] 
 n(n  1) p 2  np
dt t  0
2
Var[ X ]  np (1  p)