Transcript Chapter 3-Operation one random variable - 5

Probability & Random Variables
Probability & Random Variables
Prof. Jae Young Choi, Ph.D.
Pattern Recognition Lab., Jungwon University
Department of Biomedical Engineering
Email: [email protected]
URL: http://bprlab.tistory.com/notice/4
OPERATIONS ON 1 RANDOM
VARIABLE
• ▣ EXPECTATION
• PDF는 rv.의 특성에 대한 전체적 윤곽을 보여준다.
f X ( xi )  P( X  xi )
– Discrete PDF :
– Continuous PDF : P( X  A) 

A
f X ( x)dx
• Central Tendency
← Expected Value, Mean (Avg. of a rv., 평균)
~ Accuracy (정확도)
• Dispersion
← Variance (분산)
~ Precision (정밀도)
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
• D/ Expectation (기대값) :
E[X]
– Let X be a rv. w/ PDF fX(x), then the expected value of X is E[X],
(Mean Value of X, Statistical Avg. of X) defined as follows :
⑴ Expected Value of Continuous rv. :

X  E[ X ]   x  f X ( x)dx

⑵ Expected Value of Discrete rv. :
X




 E[ X ]   x  f X ( x)dx   x   P ( xk ) ( x  xk )dx
  P ( xk ) 
k


k
x   ( x  xk )dx   xk P ( xk )
k
 f X ( x)   P( xk ) ( x  xk )
k
Review of Probability
Expected Value & Moments (Con’t)
The expected value is one of the operations used most frequently when
working with random variables. For example, the expected value of
random variable x is obtained by letting g(x) = x:
when x is continuos and
when x is discrete. The expected value of x is equal to its average (or
mean) value, hence the use of the equivalent notation and m.
Review of Probability
Expected Value & Moments (Con’t)
Review of Probability
Expected Value & Moments (Con’t)
Review of Probability
Expected Value & Moments (Con’t)
The variance of a random variable, denoted by ², is obtained by
letting g(x) = x² which gives
for continuous random variables and
for discrete variables.
Review of Probability
Expected Value & Moments (Con’t)
Of particular importance is the variance of random variables that have
been normalized by subtracting their mean. In this case, the variance
is
and
for continuous and discrete random variables, respectively. The square
root of the variance is called the standard deviation, and is denoted by
.
Review of Probability
Expected Value & Moments (Con’t)
We can continue along this line of thought and define the nth central
moment of a continuous random variable by letting
and
for discrete variables, where we assume that n  0. Clearly, µ0=1, µ1=0,
and µ2=². The term central when referring to moments indicates that the
mean of the random variables has been subtracted out. The moments
defined above in which the mean is not subtracted out sometimes are
called moments about the origin.
Review of Probability
Expected Value & Moments (Con’t)
In image processing, moments are used for a variety of purposes,
including histogram processing, segmentation, and description. In
general, moments are used to characterize the probability density
function of a random variable. For example, the second, third, and
fourth central moments are intimately related to the shape of the
probability density function of a random variable. The second central
moment (the centralized variance) is a measure of spread of values of a
random variable about its mean value, the third central moment is a
measure of skewness (bias to the left or right) of the values of x about
the mean value, and the fourth moment is a relative measure of flatness.
In general, knowing all the moments of a density specifies that density.
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
• Ex)
X
Let X be a binomial rv. on n-trials w/ P(“success”)=p.
Find E[X].
 n n k

 E[ X ]   x  f X ( x)dx   x      p (1  p ) n  k  ( x  k ) dx


 k 0  k 

n
n

n k
n k
nk
    p (1  p )  x   ( x  k )dx   k   p (1  p ) n  k

k 0  k 
k 0
k 
n
n
n!
n!
k
nk
 k
p (1  p )  
p k (1  p ) n  k
k !(n  k )!
k 0
k 1 ( k  1)!( n  k )!


n
 n  1  k 1
(n  1)!
k 1
nk
nk
 np 
p (1  p )  np  
 p (1  p )
k 1 ( k  1)!( n  k )!
k 1  k  1 
n
m
m
 np    p i (1  p ) m i  np  p  (1  p )  np
i  k 1
i 0  i 
m  n 1
m
 E[ X ]  np
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
Ex) 자동차 도둑이 형사재판에서 유죄선고, 재판결과 3년이하의 유기징
역에 처해졌다. 그러나, 집행기간이 일정치 않아 문제점 → ∴ 재판 기
록을 참고하여 분포를 구하였다. 평균 집행기간은 얼마인가?
Let X be a rv. of the sentence length in years, then PDF of X is
1 2
 x
f X ( x)   9

0
3
 E[ X ]   x 
0
0 x3
fX(x)
1
elsewhere
4 3
3
x
1 2
x
9
x dx 
  2.25 (yrs.)  Avg. Sentence Length
9
36 0 4
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
OPERATIONS ON 1 RV.
• ▣ EXPECTATION
OPERATIONS ON 1 RV.
• ◈ EXPECTED VALUE of FUNCTION of rv.
• D/ FUNTION of a rv. X ~ g(X)
Ex) g ( X )  a  bX  cX 2 , g ( X )  1  arctan( X ), g ( X )  e  X ( X  0), etc...
• D/ EXPECTED VALUE of g(x)

※ Continuous Case : E[ g ( X )]   g ( x) f X ( x)dx



※ Discrete Case : E[ g ( X )]   g ( x) f X ( x)dx   g ( x) P( xk ) ( x  xk )dx

k
  P( xk )  g ( x) ( x  xk )dx   P( xk ) g ( xk )
k

 E[ g ( X )]   g ( xk ) P( xk )
k
k
OPERATIONS ON 1 RV.
• ◈ EXPECTED VALUE of FUNCTION of rv.
• Ex)
어떤 불규칙한 전압 V가 Rayleigh 분포를 따른다고 한다. 즉,
Rayleigh 분포에서 a = 0, b = 5이고
 2 v 2 / 5
 ve
fV ( v )   5
 0
v0
v0
단위 저항(1Ω)에 대한 전력을 구하는 측정 장비의 출력이
Y = g(V) = V2일 때, E(Y) = ?
Power in V :
E[Y ]  E[ g (V )]  E[V ]  
2

0
 Let s  v 2 / 5, ds 

2 3 v 2 / 5
ve
dv
5
2
vdv
5
 E[ g (V )]  5 se  s ds  5 [watts]
0
OPERATIONS ON 1 RV.
• ◈ CONDITIONAL EXPECTED VALUE

E[ X | B]   xf X ( x | B)dx
• D/ Conditional Expected Value :

Ex) B = {X≤b}의 경우 (-∞＜b＜∞) :
 f X ( x)
 b
f X ( x | X  b)    f X ( x )dx
0

b

 E[ X | B] 


b

xf X ( x)dx
f X ( x)dx
xb
xb
 As in the Previous
Conditional Prob.
 {X ≤ b}로 제한된
rv. X의 기대값
OPERATIONS ON 1 RV.
• ◈ PROPERTIES of EXPECTED VALUES
※ rv. X가 다른 rv.들로 표현될 경우, 예를 들어, X가 Xi의 선형 함수
이면, 직접 E[X]를 구하는 것보다 E[Xi]를 먼저 계산하는 것이 편리하다
. X  n a X  E[ X ]  n a E[ X ]  E[ X ] 부터 계산

i 1
i

i
i 1
i
i
i
• T/ [Linearity]
~ real
E[aX+bY] = aE[X] + bE[Y]
s
s
f X  ds
  | a | = a aE[X]
E[aX]
 
 ax

 E[aX ]  
f X ( x)adx  a  xf X ( x)dx  aE[ X ]
 a


E[aX ]   sf aX ( s)ds  

① Homogeneity
:
(i) a>0 :
(ii) a<0 :
② Additivity :

x=s/a, dx=ds/a → 대입
마찬가지 방법으로 결과 얻음
E[ X  Y ]  
 

( x  y ) f X ,Y ( x, y )dydx
E[X + Y] = E[X] + E[Y]
 




  x  f X ,Y ( x, y )dy dx   y  f X ,Y ( x, y )dx dy
  
  




  xf X ( x)dx   yfY ( y )dy  E[ X ]  E[Y ]

w/ a, b

OPERATIONS ON 1 RV.
• ◈ PROPERTIES of EXPECTED VALUES
• Ex)
Let X be a binomial rv. on n-independent trials, and
P(success)=p. Find E[X].
X = X1 + X2 + … + Xn
w/ Xi ~ Bernoulli rv. (#success at the ith
trial)
1 ith success
Xi  
0 ith failure
→
and
f X i (1)  p, f X i (0)  1  p
E[Xi] = 1․p + 0․(1-p) = p
∴ E[X] = E[X1] + E[X2] + … + E[Xn] = n․E[Xi] = n․p
※ 앞에서 구한 방법보다 간단함!!!
OPERATIONS ON 1 RV.
• ◈ MOMENTS
• Moments about the Origin:
g(X) = Xn
(n = 0, 1, 2, …)
mn = E[Xn]
NOTE : m0 = 1, m1 = E[X] =`X
← nth moment 구할 때 사용

E[ X ]   x n f X ( x)dx
n

• Central Moments :
g(X) = (X
(n = 0, 1, 2,
E[(…)
X  X) ]
μn = E[(X -`X)n]
NOTE : μ0 = 1, μ1 = 0, μ2 = σX2
n
-`X)n
• Variance & Skew :



( x  X ) n f X ( x)dx
위에서 2nd Central Moment μ2 = σX2 (Variance, 분산)
σX2 = μ2 = E[(X -`X)2]

E[( X  X ) 2 ]   ( x  X ) 2 f X ( x)dx

D/ Standard Deviation σX : Measure of Dispersion (Spread) in fX(x)
σX2 = E[(X -`X)2] = E[X2 - 2X +`X2] = E[X2] - 2E[X] +`X2 = E[X2] -`X2 =
m2-m12
D/ 3rd Moment : μ3 = E[(X -`X)3]는 x =`X에 대한 fX(x)의 비 대칭성
D/ Coefficient of Skewness : μ3 /σX3 (Skewness of fX(x))
OPERATIONS ON 1 RV.
• FUNCTIONS giving MOMENTS
• D/ Characteristic Function :
FX(w) = E[ejwX]
w/ -∞＜w＜∞
FX(w)는 w대신 -w를 사용한 PDF fX(x)의 Fourier Transform

(*)
jwX
F X (w )  E[e ]   f X ( x)e jwx dx

fX(x)는 FX(w)의 Inverse Fourier Transform (x대신 -x를 사용)
(**)
f X ( x) 
1
2



F X (w )e  jwx dw
※ (*)식을 w에 대해 n번 미분하여, w = 0로 놓으면 n차 모멘트 mn을 구함.
d n F X (w )
mn  ( j )
dw n w 0
n
※ 장점 :
※ 성질 :
항상 FX(w)값 존재하며, n차 미분이 존재하면 n차 모멘트 mn
을 항상 구할 수 있다.
FX(0) =1이고, |FX(w)| ≤ FX(0) = 1 이다.
OPERATIONS ON 1 RV.
• FUNCTIONS giving MOMENTS
• D/ Moment Generating Function :
Mx(n) = E[eνX]
w/ -∞＜ν＜
∞
Mx(n) 는 n대신 -n를 사용한
PDF fX(x)의 Laplace Transform

nX
M X (n )  E[e ]   f X ( x)enx dx
(*)

fX(x)는 Mx(n) 의 Inverse
Laplace Transform (x대신 -x를 사용)
1 
nx
f X ( x) 
M
(
n
)
e
dn
X
(**)



2
※ (*)식을 n에 n대해 n번 미분하여, n = 0로 놓으면 n차 모멘트 mn을 구함.
mn 
※ 단점 :
d M X (n )
dn n n 0
Mx(n)값 존재하지 않을 수 있다. 그러나, ν=0에 대해
n차 미분이 존재하면, n차 모멘트 mn을 구할 수 있다.
OPERATIONS ON 1 RV.
• FUNCTIONS giving MOMENTS
• Ex)
다음 지수함수분포에 대해, 특성 함수와 모멘트 발생함수를
이용하여 1차 모멘트 m1을 구하라. f X ( x)  1 e ( x  a ) / b ( x  a)
b
– ⑴ 특성함수를 이용한 방법 :
F X (w )  E[e
jwX
] 

a
1 ( x a ) / b jwx
ea / b
e
e dx 
b
b


a
e
 (1/ b  jw ) x
ea / b
dx 
b


dF X (w )
ja
jb
 e jwa 

 j ( a  b)
2
dw w 0
 (1  jwb) (1  jwb)  w 0

 e (1/ b  jw ) x 
e jwa

 

(
1
/
b

j
w
)

 a (1  jwb)
 m1  ( j )
dF X (w )
 ab
dw w 0
– ⑵ 모멘트발생함수를 이용한 방법 :
M X (n )  E[e ]  
nX

a
1  ( x  a ) / b nx
ea / b
e
e dx 
b
b
 a(1 nb)  b 
dM X (n )
 ena 
  ab
2
dn n 0
(
1

n
b
)

n 0


a
e
 (1 / b n ) x
 m1 
ea / b
dx 
b

 e (1/ b n ) x 
ena

 

(
1
/
b

n
)

 a (1 nb)
dM X (n )
 ab
dn n 0
OPERATIONS ON 1 RV.
• ♣ Useful Probability Inequalities
• Chebyshev's Inequality
For rv. w/ mean`X and variance X2, ∃ ε>0 s.t.
 X2
P| X  X |     2

or
 X2
P| X  X |    1  2

• Markov's Inequality
For a non-negative rv. , P X  a  E[ X ]
a
for a  0
• Chernoff's Inequality and Bound
For a rv. and ν>0, (generalization of Markov's inequality)
P X  a  


f X (x)eν(xa)dx  eνa M X (n )
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV. :
▶ Mapping of ONE RV. to ANOTHER RV. : X  Y
 New RV. Y = T(X)
or
 New RV. Y = g(X)
Ex) Y = 2X + 5, Y = X2 + exp(-X)
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV. :
Y = g(X)
g : rv. X  rv. Y
~ Mapping
• ▶ Discrete rv.의 경우 :
⑴ g = 단조 함수인 경우 :
X = g-1(Y) ← ∃ a Unique Inverse g-1 s.t. P(Y=yk) = P(X=g-1(xk))
⑵ g = 단조 함수가 아닌 경우 :
Y = g(X)에서 → Y의 원소 개수 ≠ X의 원소 개수
Ex) Y = X2에서 P(X=-2) = 0.1, P(X=-1) = 0.2, P(X=0) = 0.3, P(X=1) = 0.4
→ y = x2에서 가능한 y값을 먼저 구한다. y ∈ {0, 1, 4}
y=0이면 x=0,
∴ P(Y=0) = P(X=0) = 0.3
y=1이면 x=1 or x=-1,
∴ P(Y=1) = P(X=-1) + P(X=1) = 0.2 +
0.
fY(y)
0.4 = 0.6
∴ P(Y=4) = P(X=-2) = 0.1
fX(x) y=4이면 x=-2, 0.4
Y  g( X )
0.3
0.2
0.
0.1
-2
0.1
-1
0
1
x
0
1
0
0
2
3
4
y
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV.
▶ Continuous rv.의 경우 :
Y = g(X)
⑴ Monotonic Transformation of a Continuous rv.의 경우 :
y = g(x)에서 x의 미세증분에 해당하는 x+dx에 대해 다음 관계를 만족한
다.
y + dy = g(x + dx) ≒ g(x) + g'(x)․dx
g = 단조증가함수
g = 단조감소함수
g = 단조증가함수
(dx,dy) ~ 미세증분
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV.
※ T/ [단조 변환의 확률 보존 법칙] :
rv. Y의 구간에 해당하는 확률과 rv. X의 구간에 해당하는 확률은 같다. 즉,
P(y < Y ≤ y + dy)
↓
fY(y)․|dy|
 fY ( y ) 
f X ( x)
f ( x)
 X
dy / dx dg / dx
※ NOTE :
P(x < X ≤ x + dx)
↓
fX(x)․|dx|
=
=

x  g 1 ( y )
f X ( x)
g ' ( x)
x  g 1 ( y )
㉮ 구간 설정에 항상 주의한다.
㉯ 변환시 변수변환에 주의한다.
(x  y 로 항상 바꿔준다)
g = 단조증가함수
(dx,dy) ~ 미세증분
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV.
• ※ 다른 방법 :
① g = 단조 증가 함수의 경우 :
CDF에서 구간{Y≤y0}과 구간{X≤x0}의 확률은 같다. 즉,
FY(y0) = P(Y≤y0) = P(X≤x0) = FX(x0)

y0

fY ( y )dy  
x0  g 1 ( y0 )

f X ( x)dx
 dg 1 ( y0 ) 
fY ( y0 )  f X ( g ( y0 )) 

dy
0


1
 Leibniz' s Rule 

Diff. both sides w.r.t y0
 dg 1 ( y) 
 in general, fY ( y)  f X ( g ( y)) 

 dy 
1
② g = 단조 감소 함수의 경우 :
CDF에서 구간{Y≤y0}과 구간{X≥x0}의 확률은 같다. 즉,
FY(y0) = P(Y≤y0) = P(X≥x0) = 1 - FX(x0)
cf. 연속이면 등호와 무관
 dg 1 ( y) 
같은 방법으로,
∵ g-1 의 기울기는 음수(-)
1
fY ( y)  f X ( g ( y)) 

dy 

∴ ①, ②에서
fY ( y ) 
f X ( x)
f ( x)
 X
dy / dx dg / dx

x  g 1 ( y )
f X ( x)
g ' ( x)
x  g 1 ( y )
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex) Uniform rv. X의 PDF가 다음과 같을 때 변환된 rv. Y =
sinh(X)의
PDF, CDF를
 x  1 (구간 설정에 항상 주의!!)
1 0구하라.
f X ( x)  
0 elsewhere

MATLAB ~ rand ()
e x  e x
dy
y  g ( x)  sinh( x) 
~ 단조증가함수,
 g '( x)  cosh( x),
2
dx
2
2
① PDF : cosh ( x)  sinh ( x)  1, { x  0  y  0; x  1  y  sinh(1)}
f ( x)
fY ( y )  X
g ' ( x)
x  g 1 ( y )
1 / cosh( x)  1 / 1  y 2

0
0  y  sinh( 1)
elsewhere
Y  sinh( X )
② CDF :
0

FX ( x)   x
1

x0
0  x 1
x 1

0

FY ( y )  sinh 1 ( y )
1

y0
0  y  sinh( 1)
y 1
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
※ PDF fX(x)에서 불연속점이 발생할 경우 (x=g-1(y)에서) :
• FY(y)
= P(Y≤y) = P(X≥g-1(y)) = 1 - P(X＜g-1(y))
= 1 – { P(X≤g-1(y)) - P(X=g-1(y)) }
= 1 - P(X≤g-1(y)) + P(X=g-1(y)) ← Jump at x = g-1(y)
= 1 - FX(g-1(y)) + P(X=g-1(y)) (이 위치에서 점프 확률값 존재)
① fX(x) ~ 연속일 경우 :
P(X=g-1(y)) 값은 점에서의 확률이므로 0 이다
.
② fX(x) ~ 이산적인 경우 : P(X=g-1(y)) 값은 이산적 확률이므로 계산한다
.
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Linear Transformation :
g = 단조 함수 w/ Inverse :
g'(x) = a 이므로
① PDF :
② CDF :
㉮ a＞0 :
㉯ a＜0 :
f ( x)
fY ( y )  X
dg / dx
x  g 1 ( y )
Y = g(X) = a X + b
(a≠0)
X = g-1(Y) = (Y - b)/a
1
 y b

fX 

|a|  a 
y = g(x)
x
 y b
FY ( y )  FX 

 a 
y b
 y b 

FY ( y )  1  FX 

P
X




a 
 a 

Jump at x = g-1(y)
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex) Linear Transformation of Gaussian rv. : (계속)
 Gaussian Distribution fX(x) = N(mX,σX2) 사용하여 실제 대입해보자.
f ( x)
fY ( y )  X
dg / dx

1
2a 
2
2
X
x  g 1 ( y )
 ( x  m X )2 
1
1
 y b 1


fX 

exp  

2
2
| a |  a  | a | 2 X
2 X 

x  ( y b ) / a 대입
 ( y  (am X  b) 2 
  N am X  b, a 2 X2
exp  
2 2
2a  X


(
(
 fY ( y)  N mY ,  Y2
)
)
w/ mY  am X  b,  Y2  a 2 X2
y = g(x)
x
※ BIG RESULT :
∴ Gaussian rv.의 선형변환에 의해 생성된 rv.도 역시 Gaussian rv.이 된
다
cf. 다른 변환에 대해서도 성립하는가? → Ans. No !!!
(전혀 다른 PDF가 만들어짐)
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
(
Linear Transformation of Gaussian rv. : (계속)
 fY ( y)  N mY ,  Y2
)
y
• Ex)
y = g(x)
y = ax + b
fY(y)
w/ mY  am X  b,  Y2  a 2 X2
x
fX(x)
(
f X ( x)  N m X ,  X2
x
)
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV.
⑵ Nonmonotonic Transformations of a Continuous rv.의 경우 :
Y = g(X) → 단조 함수가 아닌 경우, 하나의 y값에 대해 여러개의 x값이 존재
Non-unique Inverse를 갖는다. ∴ Many-to-One Transformation
Ex) 3차 함수의 경우 : 하나의 Y Event에 대해 X의 다른 3가지 Event가 해
당 된다. 즉, 구간에 대한 Event는 각각 단조 증가 또는 단조 감소이고
{y＜Y≤y+dy} = {x1＜X≤x1+dx1} ∪ {x2+dx2＜X≤x2} ∪ {x3＜X≤x3+dx3}
각 구간에 대한 단조 변환의 확률 보존 법칙으로 부터
P(y＜Y≤y+dy) = P(x1＜X≤x1+dx1) + P(x2+dx2＜X≤x2) + P(x3＜X≤x3+dx3)
(∵ X에 대한 3가지 Event는 dy→0일 때 서로 M.E. Event들이므로 더함)
OPERATIONS ON 1 RV.
• ◈ TRANSFORMATION of 1 RV.
⑵ Nonmonotonic Transformations of a Continuous rv.의 경우 :
Ex) ∴ fY(y)․|dy| = fX(x1)․|dx1| + fX(x2)․|dx2| + fX(x3)․|dx3|
(cf. 위의 두 번째 항에서 x = x2일 때 dy/dx＜0)
양변을 |dy|로 나누어 정리하면,
fY ( y ) 
f X ( x1 )
g ' ( x1 )

x1  g11 ( y )
f X ( x2 )
g ' ( x2 )

x2  g 21 ( y )
f X ( x3 )
g ' ( x3 )
x3  g 31 ( y )
w/ gk-1(y) 는 y = g(x) 의 x = xk 에 대한 k번째 root
※ RESULT :
확률을
같은 Y의 Event에 대해, 모든 관련된 X의 Event들의
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Quadratic Transformation :
Y = a (X - c)2 + b
(a＞0)
→ 모든 x에 대해, y≥b이다. (y＜b일 때 fY(y)=0)
y = g(x) = a (x - c)2 + b
하나의x y값에
(xb1), /xa2)
 c  대해
( y  b2개의
) / a , x값이
x  c 존재
(y 
1
2
g'(x) g
=' (2a
x1 )(x
 -2 c)a(이므로
y  b) , g ' ( x2 )  2 a( y  b)
• PDF :
fY ( y ) 
 

1
( y  b) 
( y  b) 




f
c


f
c

 X
X


a
a
2 a( y  b)  



FY ( y )  P(Y  y )  P( x1  X  x2 )
• CDF :
단조감소영역
 FX ( x2 )  FX ( x1 )  P( X  x1 )
 구간확률보존
 check if jump at x  x1



( y  b) 
( y  b) 
( y  b) 
  FX  c 
  P X  c 

 FX  c 




a 
a 
a 



단조증가영역
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Quadratic Transformation :
Y = X2
→ fX(x) = N(m,σ2) ~ Gaussian PDF, fY(y) = 0 for y＜0
앞의 예제에서 {a=1, b=0, c=0} 대입, y = g(x) = x2
x1   y , x2   y
g'(x) = 2x 이므로
• PDF : fY ( y ) 
1
2 y
 단조감소영역 :

단조증가영역 :
g ' ( x1 )  2 y
g ' ( x2 )  2 y
f ( y ) f ( y )
X
X
  ( y  m ) 2 
 ( y  m ) 2  


  exp 

exp 
2
2
2

2 2  
2 y 2  


0

 ( y  m ) 2 
 ( y  m ) 2  
 fY ( y )   1
1 
  exp  

exp  
2
2
2 y 
2
2

2

2




 





1
1
y0
y0
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
A new rv. Y is defined as Y = 2 X + 1. Find fY(y).
6 x(1  x) 0  x  1
f X ( x)  
0
elsewhere

a = 2, b = 1 : g'(x) = 2
1
 y  b  1  y 1 
fY ( y ) 
fX 
  fX 

a
 a  2  2 
1  y  1  y  1  3
 6
1 
  ( y  1)(3  y )
2  2 
2  4
※ NOTE :
The above eq. is NOT valid for all y (구간결정에 주의)
∵ 0＜x＜1에서 0＜(y-1)/2＜1 →∴ 1＜y＜3
 3
( y  1)(3  y ) 1  y  3
 fY ( y )   4
0
elsewhere
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Let Y = X2 and
fX(x)
r.v. X ~ Uniform. Find fY(y).
1 / 3  1  x  2
f X ( x)  
 0 elsewhere
Quadratic Transformation 
x   y,
 fY ( y ) 
※ NOTE : 구간 결정에 주의할 것.
g ' ( x)  2 x
1
2 y
f ( y ) f ( y )
X
① -1＜ √y ＜2 일 경우 : 0≤ √y ＜2 이므로 0≤ y ＜4
② -1＜-√y ＜2 일 경우 : -1＜-√y ≤0 이므로 0≤ y ＜1
∴ ①, ②에서 (i) 0≤ y ＜1 과 (ii) 1≤ y ＜4 로 구간을 분리
(i) 0≤ y ＜1 : ①∪② → f ( y)  1  1  1   1


Y
( y  0)
(ii) 1≤ y ＜4 : ① →
2 y 3 3 3 y
1 1 
1
fY ( y ) 
  0 
2 y 3  6 y
(iii) otherwise :
fY ( y )  0
X
y=g(x)
y=g(x)
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Let Y = 7 X. Find fY(y) in terms of fX(x).
단조증가 g(x) = 7 x, g’(x) = 7

fY(y) = fX(y/7)/|7|
• Ex)
Let Y = X3, fX(x) = e-xu(x). Find fY(y).
2
 g '( x)  3 3 y 2
단조증가 g(x) = x3, g’(x) = 3x
• Ex)
Let Y = X2. Find fY(y) in terms of fX(x).
단조증가 및 단조감소 g’(x) = 2x = ±2√y

• Ex)
1 3
 fY ( y)  e  y y 2/3u ( y)
3

 1 
f X ( y )  f X ( y ) 


 fY ( y )   2 y
0

y0
( y  0)
y0
Let Y = 5X + 3, fX(x) = e-xu(x). Find fY(y).
단조증가 g(x) = 5x + 3, x = (y-3)/5, g’(x) = 5

1
 fY ( y )  e ( y 3) / 5u ( y  3)
5
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex)
Let rv. I ~ Gaussian PDF fI(i), & Power rv. W = R I 2. Find fW(w).
단조증가 g(i) = R i2, g’(i) = 2Ri = ±2√(wR)
 g '(i)  2 wR
A/

 i2 
f I (i )  N (0,  ) 
exp   2 
rv. I ~ Gaussian,
2
2 I
 2 I 
2
I

※ FACT/
 1 
f I ( w / R )  f I ( w / R )  w  0


 fW ( w)   2 Rw
0
w0

1
 even fn.


1
w 
exp  
w  0 ( w  0)

2 
2
R

 fW ( w)   2 Rw I2

I 

w0
0
① W  E[W ]  E[ Ri 2 ]  R I2
2
2
2
2 4
②  W  E[W ]  W  2 R  I
OPERATIONS ON 1 RV.
• ◈ RV. MAPPING
• Ex) (계속) P[W  w]  P[ w / R  i  w / R ]  P{i  w / R }  P{i   w / R }
 CDF of rv. W :
FW ( w)  P[W  w]  P{i  w / R }  P{i   w / R }
 
 w/ R 



w/ R
  F
  2 F 
 F 


 I   
 I 

0
Normalized Gaussian

 w/ R 

1  2Q


F
(
w
)


 Q(x) + F (x) = 1 이므로
W
 I 
0

Q-Function
w/ R 
 1 w  0
 I 
w0
w0
( w  0)
w0
• Ex) 4Ω Speaker의 최대 전력이 25W일 때, 전류가 Gaussian이고 평균 4W
전력을 발생한다고 한다. Speaker가 최대 전력을 초과하는 확률은 얼마인가?
W  R I2

4  4 I2 ,   I2  1
P[W  25]  1  FW (25)  2QI ( 25 / 4 / 1)  2  0.0061  0.0124
OPERATIONS ON 1 RV.
• ◈ COMPUTER GENERATION OF ONE RV.
▶ 컴퓨터 패키지(S/W)의 해당 Library에서 여러 가지 분포를 생성하는 함
수가 있는 경우 :
Ex) MATLAB, SPSS, SAS, MINITAB
▶ 이러한 배려가 없는 경우 :“시뮬레이션”을 위해 컴퓨터로 분포를 만들어
내야 한다.
※ NOTE :
 만들어진 수치의 분포를 확인! 초기값이 매“시뮬레이션”마다 달라져야 한다.
 매“시뮬레이션”마다 이전에 구한 분포와 독립 → 상관계수가 0이어야 한다.
▶ 컴퓨터의 Random Number Generator : a rv. w/ Uniform PDF in (0, 1)

U(0, 1)을 사용하여 필요시 Y = T(X) 를 사용하여 다른 rv.로 변환 시킨다.
※ FACT :
FY ( y  T ( x))  FX ( x)
For Uniform X, FX ( x) 
x, (0  x  1)
  y  T ( x)  FY1 ( x)
(∃ Inverse FY-1 & FY-1 is Non-decreasing ∵ FY(y) is Non-decreasing & Monotonic)
OPERATIONS ON 1 RV.
• ◈ COMPUTER GENERATION OF ONE RV.
※ PROBLEM :
Solve the Inverse Function FY-1 for y given
FY(y) = x.
Compute y through Uniform PDF, U(0,1).
Ex) Rayleigh Distribution w/ a = 0 :
FY ( y)  1  e y
2
 x, (0  x  1)
/b
 y  T ( x)   b  ln( 1  x) , (0  x  1)
Ex) Exponential Distribution w/ a = 0 :
FY ( y)  1  e  y / b  x, (0  x  1)
 y  T ( x)  b  ln( 1  x), (0  x  1)
FY ( y ) 
Ex) Gaussian Distribution w/ aY = 0 :
2
2
dx
1

e  y / 2 Y , (0  x  1)
dy
2Y2
1
2
2
Y

y
e t
2

  문제점
 RESULT : Gaussian PDF requires more than one rv.!!
/ 2 Y2
dt  x, (0  x  1)