Transcript PPT
物理フラクチュオマティクス論
Physical Fluctuomatics
応用確率過程論
Applied Stochastic Process
第3回 確率変数,確率分布,確率密度関数
3rd Random variable, probability distribution and
probability density function
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
物理フラクチュオマティクス論(東北大学)
1
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率,事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値,分散,共分散
一様分布
ガウス分布
物理フラクチュオマティクス論(東北大学)
前回
今回
2
確率と確率変数
各事象に番号を割り
当て,その番号に対
する変数を導入する.
この変数を確率変数
(Random Variable)
という.
「奇数の目がでる」
という事象に「X=1」
という等式を対応さ
せることができる.
物理フラクチュオマティクス論(東北大学)
3
確率と確率変数
標本空間から構成されたすべての事象 A に実数値
X(A) を1対1対応させる写像を考える.この写像 X(A) を
事象 A の確率変数 (Random Variable) という.通常, 確
率変数 X(A) は A を省略し,単に X と表される.
確率変数 X が実数値 x をとる事象 X=x の確率を
Pr{X=x} と表す.このとき x をその確率変数の実現値ま
たは状態 (State)という.起こりうる状態の集合を状態空
間 (State Space)という.
2つの事象X=x および X=x’ が互いに排反であるとき状
態 x と状態 x’ は互いに排反であるという.
物理フラクチュオマティクス論(東北大学)
4
離散確率変数と連続確率変数
離散確率変数 (Discrete Random Variable):
離散的な状態空間をもつ確率変数
例:{x1,x2,…,xM}
連続確率変数 (Continuous Random Variable):
連続的な状態空間をもつ確率変数
例:(−∞,+∞)
物理フラクチュオマティクス論(東北大学)
5
離散確率変数と確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表され,確率変数 X がM 個
の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi
(i=1,2,…,M) により定義されるとき
すべて事象 X=x1, X=x2,…, X=xM の起こる確率
が変数 x の関数 P(x) を用いて
PrX x Px x x1 , x2 ,, xM
確率変数
状態変数
状態
と表されるとき, P(x) を確率変数 X の確率分布 (Probability
Distribution) ,x を状態変数 (State Variable) という.
物理フラクチュオマティクス論(東北大学)
6
離散確率変数の確率分布の性質
いずれも確率の公理1,2,3から導かれる.
0 Pxi 1 i 1,2,, M
M
P x 1
i 1
i
規格化条件(Normalization Condition)
物理フラクチュオマティクス論(東北大学)
7
離散確率変数の期待値と分散
確率変数 X の期待値 (Expected Value,平均: Average)μ
M
EX xi Pxi
i 1
確率変数 X の分散 (Variance) σ2
M
V X xi Pxi
2
2
i 1
σ:標準偏差 (Standard Deviation)
物理フラクチュオマティクス論(東北大学)
8
離散確率変数の結合確率分布
2種類の確率変数 X, Y に対して,事象 X=x と事象 Y=y 結
合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}=
Pr{X=x,Y=y} が関数 P(x,y) を用いて
PrX x, Y y Px, y
と表されるとき, P(x,y) を確率変数 X と Y の結合確
率分布 (Joint Probability Distribution) という.
X
Y
確率ベクトル変数
x
y
状態ベクトル変数
物理フラクチュオマティクス論(東北大学)
9
離散確率変数の周辺確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって
Ω=A1∪A2∪…∪AM と表され,離散確率変数 X がM 個の実数値
x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義
されるとき
M
確率変数 Y の
周辺確率分布
(Marginal
Probability
Distribution)
PY y Pxi , y
i 1
PY y Px, y
簡略表記
x
状態空間における互いに排反な取り得るすべての状態 x についての和
P( x, y) 1
x
y
規格化条件
(Normalization Condition)
物理フラクチュオマティクス論(東北大学)
10
離散確率変数の周辺確率分布
より高次元への拡張
確率変数 Y の周辺確率分布 (Marginal Probability Distribution)
PY y Px, y, z, u
x
周辺化
(Marginalize)
z
u
X
Y
Z
U
物理フラクチュオマティクス論(東北大学)
11
離散確率変数の独立性
確率変数 X と Y が互いに独立である:
Px, y P1 xP2 y
確率変数 X と Y
の結合確率分布
確率変数 Y の
周辺確率分布
P1 ( x) P2 ( y) 1
x
y
確率変数 Y の確率分布
確率変数 X の確率分布
PY y P x, y P2 y
x
物理フラクチュオマティクス論(東北大学)
12
離散確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
CovX , Y xi X y j Y Pxi , y j
M
N
i 1 j 1
X E[ X ] xi Pxi , y j Y E[Y ] yi Pxi , y j
M
M
N
N
i 1 j 1
i 1 j 1
Cov[X , X ] V [ X ]
共分散行列
(Covariance Matrix)
Cov[Y , Y ] V [Y ]
Cov[X , Y ]
V[ X ]
R
V[Y ]
Cov[Y , X ]
物理フラクチュオマティクス論(東北大学)
13
離散確率変数の確率分布の例
expax
x 1
P( x)
2 cosha
EX tanha
E[X]
VX 1 tanha
2
物理フラクチュオマティクス論(東北大学)
0
a
14
離散確率変数の結合確率分布の例
expaxy
x 1, y 1
P ( x, y )
4 cosha
EX 0 VX 1
Cov[X , Y ] EXY
Cov[X,Y]
0
a
tanha
物理フラクチュオマティクス論(東北大学)
15
離散確率変数の条件付き確率分布の例
2元対称通信路の
条件付き確率分布
1 x , y
P( y x) p
x 1, y 1
expaxy
1 p
2 cosha
x,y
1 1 p
a ln
2 p
物理フラクチュオマティクス論(東北大学)
16
連続確率変数の確率
確率変数 X の状態空間 (−∞,+∞) において状態 x が区
間 (a,b) にある確率
Pra X b Pr X b Pr X a
X の分布関数
F x Pr X x 確率変数
(Distribution Function)
Pra X b F b F a x dx
b
a
確率変数 X の確率密度関数
(Probability Density Function)
dF x
x
dx
物理フラクチュオマティクス論(東北大学)
17
連続確率変数の確率密度関数の性質
x 0 x
x dx 1
規格化条件(Normalization Condition)
物理フラクチュオマティクス論(東北大学)
18
連続確率変数の期待値と分散
確率変数 X の期待値 (平均)
EX x x dx
確率変数 X の分散
V X
2
x x dx
物理フラクチュオマティクス論(東北大学)
2
19
連続確率変数の結合確率密度関数
確率変数 X と Y の状態空間 (−∞,+∞) において状
態 x と y が区間 (a,b)×(c,d) にある確率
Pra X b c Y d
d
c
b
a
x, y dxdy
結合確率密度関数 (Joint Probability Density Function)
x, y dxdy 1
規格化条件
(Normalization Condition)
物理フラクチュオマティクス論(東北大学)
20
連続確率変数の周辺確率密度関数
Y y x, y dx
確率変数 Y の
周辺確率密度関数 (Marginal Probability Density
Function)
物理フラクチュオマティクス論(東北大学)
21
連続確率変数の独立性
確率変数 X と Y が互いに独立である:
x, y 1 x2 y
確率変数 X と Y の
結合確率密度関数
確率変数 Y の
周辺確率密度関数
1 ( x)dx 1
2 ( y)dy 1
確率変数 Y の確率密度関数
確率変数 X の確率密度関数
Y y
x, y dx 2 y
物理フラクチュオマティクス論(東北大学)
22
連続確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
CovX , Y
x y x, y dxdy
X
X E[ X ]
Y
E[Y ]
Cov[X , X ] V [ X ]
共分散行列
(Covariance Matrix)
Y
x x, y dxdy
y x, y dxdy
Cov[Y , Y ] V [Y ]
Cov[X , Y ]
V[ X ]
R
V[Y ]
Cov[Y , X ]
物理フラクチュオマティクス論(東北大学)
23
一様分布 U(a,b)
一様分布 (Uniform Distribution) の確率密度関数
b a
x
0
1
a x b
x a, b x
ab
E X
2
2
b a
VX
12
p(x)
(b-a)-1
物理フラクチュオマティクス論(東北大学)
0 a
b
x
24
ガウス分布(正規分布) N(μ,σ2)
平均μ,分散σ2 のガウス分布 (Gaussian Distribution)
の確率密度関数
( 0)
1
2
x
exp 2 x x
2
p(x)
2 2
1
EX
VX
平均と分散はガウス積分の公式 (Gaussian
Integral Formula) から導かれる
2
0
μ
x
1 2
exp 2 d 2
物理フラクチュオマティクス論(東北大学)
25
多次元ガウス分布
行列 C を正定値の実対称行列として,2次元ガウス分布
(Two-Dimensional Gaussian Distribution) の確率密度関数
1
x X
1
x, y
exp x X , y Y C
y Y
2 2 det C 2
1
x , y
において行列 C が共分散行列になる.
Cov[X , Y ]
V[ X ]
C
V[Y ]
Cov[Y , X ]
d 次元ガウス積分の公式から導かれる
1 T 1
exp 2 C d
2 d det C
一般の次元への拡張も同様
物理フラクチュオマティクス論(東北大学)
26
大数の法則
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確
率変数であるとき
Yn
1
( X 1 X 2 X n ) (n )
n
中心極限定理
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確率
変数であるとき
Yn
1
( X1 X 2 X n )
n
は n が大きいとき平均 , 分散 2/n の正規分布に従う.
物理フラクチュオマティクス論(東北大学)
27
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率,事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値,分散,共分散
一様分布
ガウス分布
物理フラクチュオマティクス論(東北大学)
前回
今回
28
演習問題3-1
確率変数 X が ±1 の2値のみをとるものとして事象 X が
状態 x をとるという事象 X=x の確率分布が
expax
x 1
P( x)
2 cosha
により与えられるとき期待値 E[X] と分散 V[X] の表式を導
出し,その 1 a 1 についての値を C 言語,Java または
MatLab を用いて計算し,グラフを書け.
物理フラクチュオマティクス論(東北大学)
29
演習問題3-2
確率変数 X と Y がいずれも ±1 の2値のみをとるものとし
て事象 X が状態 x をとり,かつ事象 Y が状態 y をとるとい
う事象 (X=x)∩(Y=y) の確率分布 P(x,y) が
expaxy
x 1, y 1
P ( x, y )
4 cosha
により与えられるとき確率変数 X についての周辺確率
P(X) と共分散 Cov[X,Y] の表式を導出せよ.
物理フラクチュオマティクス論(東北大学)
30
演習問題3-3
確率変数 X と Y がいずれも ±1 の2値のみをとるものとして事象 Y
が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事
象 X=x の条件付き確率分布が
1 x , y
P( y x ) p
1 p
x,y
次の表式でも与えられることを示せ.
expaxy
P( y x)
2 cosha
ヒント:次の等式を用いる.
p expln p
x, y
1 1 p
a ln
2 p
1
1 xy
2
x 1, y 1
cosh(c) は任意の実数 c に対して偶関数
物理フラクチュオマティクス論(東北大学)
31
演習問題3-4
ガウス積分の公式を証明せよ.
0
1 2
exp d
2
2
ヒント
R
R
1 2
1 2
1 2
exp d 2 lim exp d
exp 2 d Rlim
R
R 0
2
2
2 lim
R
R
R
0
0
1
1
exp 2 2 d d 2 lim
R
2
2
物理フラクチュオマティクス論(東北大学)
1 2
exp
r 1 2 r dr
32
演習問題3-5
確率変数 X が任意の実数 X をとる連続確率変数であり,その確率
密度関数が
1
2
p x
exp 2 x
2
2 2
1
x
で与えられるとき,平均 E[X] と分散 V[X] が次の表式で与えられること
をガウス積分の公式を用いて証明せよ.またμ=0, σ=10, 20, 40 のとき
の p(x) の x に対する値を C 言語, Java または MatLabで計算し,グラフ
を書け.
EX
VX
物理フラクチュオマティクス論(東北大学)
2
33
演習問題3-6
一様分布 U(0,1) に従う乱数(一様乱数)を発生するプ
ログラムを作成せよ.乱数を N 個発生させた場合のヒ
ストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場
合について書け.
1
x
rand()
randmax
C 言語では rand() は0,1,2,…,randmax のなかのい
ずれかの値をランダムに生成される命令である.
randmax の値は rand() の出力の最大値であり,シ
ステムによって異なる場合があるので注意.
物理フラクチュオマティクス論(東北大学)
34
演習問題3-7
平均 μ,分散 σ2 のガウス分布 N(μ,σ2) に従う乱数(ガウス乱
数)を発生するプログラムを作成せよ.乱数を N 個発生させた
場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの
場合について書け.
ヒント:
任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対
して (x1+x2+…+xn )/n はn→+∞ で平均 μ,分散 σ2/n のガウス分
布 N(μ,σ2/n) に従う[中心極限定理より]
区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる.
平均 0, 分散 1
のガウス乱数
x1 x2 x12 6
σξ+μが平均 μ, 分散 σ2 のガウス乱数
物理フラクチュオマティクス論(東北大学)
35
演習問題3-8
任意の自然数 d に対して d 行 d 列の正定値の実対称
行列 C に対して次の d 次元ガウス積分の公式を証明
せよ.
1 T 1
exp 2 C
d
ヒント: 行列 C の固有値 λi に対応する固有ベクトル
2 d det C
ui
(i=1,2,…,d) とすると行列 C は次のように対角化される
1 0
0 2
C U 0 0
0 0
0
0
3
0
0
0
0 U 1
d
U u1 , u1 ,, ud
物理フラクチュオマティクス論(東北大学)
36
演習問題 3-9
確率ベクトル変数 X の各成分がいずれも任意の実数
をとる連続確率変数であり,正定値の実対称行列 C に
対してその確率密度関数が
px
1 T 1
exp x C x
d
2 det C 2
1
x 1
x2
d
x
,
x
d
により与えられるとき,その平均ベクトルが ,共分散
行列 が C となることを示せ.
物理フラクチュオマティクス論(東北大学)
37