Transcript 確率変数は

確率論と数理統計の基礎
Zheng Tianyu
1.1. ベイズの公式（前回のレビュー）
A、B 、P（A）>0、
P(AB)＝P(A)P(B|A)
・条件付き確率
P(B|A)=P(AB)/P(A)
事象Aが起こった前提で、事象Bが起こる確
率、すなわち条件付き確率。
1.1. ベイズの公式（前回のレビュー）
A1，…, Anはのパーティション、且つ
P(Ai)>0 (i＝1，…，n)、B 、
n
P( B)＝ P( Ai ) P( B | Ai )
i 1
P ( Aj | B ) 
P ( Aj ) P ( B | Aj )
n
 P( A ) P( B | A )
i 1
i
, ( j  1,..., n)
i
機械学習アルゴリズム：Bayes Classifier
1.2. 確率変数と期待値、分散
• 確率変数
実験の結果としてランダムな数値が出てく
る。そこで、このようにランダムに値がき
まる数値のことを確率変数と呼ぶ。
通常は、大文字のアルファベットで記述す
る。例：X、Y。
1.2.1. 離散型
• 離散型確率変数
例：サイコロを一回振る実験を考える。Xを
出た目の数とすると、Xのとりうる値は 1,
2, 3, 4, 5, 6 の6通り。また,それぞれの
値をとる確率は：
P(X=1)=P(X=2)=...=P(X=6)=1/6
1.2.1. 離散型
• 期待値（離散型）
離散的な確率変数 X が x1, x2,…, xn の
値をとり,その確率が
pi = f (xi ) = P(X = xi )
¥
(å pi =1)
i=1
と与えられているとする.このとき,Xの期待
値：
n
n
i=1
i=1
m = E(X) = å xi pi =å xi f (xi )
(i =1, 2, 3,...n)
1.2.1. 離散型
• 分散（離散型）
n
s = V(X) = å pi (xi - m )
2
(i =1, 2, 3,...n)
2
i=1
または、
s = V(X) = E(X ) - E(X)
2
• 標準偏差
s = V(X)
2
2
1.2.2. 連続型
• 連続型確率変数
例：
①クラスの学生を一人選んだ場合の学生の
身長。
②東京方面の地下鉄に乗る場合の待ち時間。
確率変数は、連続無限個あり
1.2.2. 連続型
• 期待値（連続型）
連続的な確率変数 a<=X<=b、その確率が
ò
(ò
FX (x) = P(a £ X £ b) =
b
a
+¥
-¥
fX (x)dx
fX (x)dx =1)
と与えられているとする.このとき,Xの期待
値：
m = E(X) =
ò
b
a
xfX (x)dx
1.2.2. 連続型
• 分散（連続型）
s = V(X) =
2
ò
b
a
(x - m ) fX (x)dx
2
または、
s = V(X) = E(X )- E(X)
2
• 標準偏差
s = V(X)
2
2
1.2.3. 多変数（確率変数が2つ以上）
・同時確率密度関数
離散型
2つの確率変数 X, Y がともに離散型の確率変数で
あるとき：
pij = P(X = xi ,Y = yj )
(i, j =1, 2, 3,...)
(pij ³ 0, åå pij =1)
i
j
を2次元確率変数 (X, Y ) の同時確率分布という。
1.2.3.多変数（確率変数が2つ以上）
・同時確率密度関数
連続型
2 つの確率変数 X, Y が,ともに連続型であるとき,任意
の a, b(a < b), c, d(c < d) に対して：
P(a £ X £ b, c £ Y £ d) =
( f (x, y) ³ 0, ò
ò ò
+¥
-¥
d
b
c
a
ò
+¥
-¥
f (x, y)dxdy
f (x, y)dxdy =1)
を2次元確率変数 (X, Y) の同時確率分布という。
1.2.3.多変数（確率変数が2つ以上）
・周辺確率分布
離散型
2次元確率変数 (X, Y) の同時確率分布から得ら
れる1次元の確率分布：
P(X = xi ) = å P(X = xi ,Y = yj ) = å pij
j
( j =1, 2,...)
j
P(Y = yj ) = å P(X = xi ,Y = yj ) = å pij
i
(i =1, 2,...)
i
をそれぞれ,確率変数 X および Y の周辺確率分布
という。
1.2.3.多変数（確率変数が2つ以上）
・周辺確率分布
連続型
2つの確率変数 X, Y が,ともに連続型で,その同
時確率密度関数が f (x, y) であるとき,確率変数
X, Y の確率密度関数：
ò
h(y) = ò
g(x) =
¥
-¥
¥
-¥
f (x, y)dy
f (x, y)dx
をそれぞれ、確率変数 X および Y の周辺確率密
度関数という。
1.2.3.多変数（確率変数が2つ以上）
・共分散
Cov(X,Y) = E[(X - E(X))(Y - E(Y))]
= E(XY)- E(X)E(Y)
・相関係数
Cov(X,Y)
r XY =
V(X) V(Y)
🌾線型回帰分析： y- y =
(-1 £ r XY £1)
Cov(x, y)
s
2
x
(x - x)
1.3. よく使う確率分布
• 離散型の例
• 連続型の例
1.3.1. 離散型
•
•
•
•
•
•
•
•
離散一様分布
二項分布
ポアソン分布
幾何分布（ファーストステップ分布）
超幾何分布
負の二項分布
対数級数分布
その他
1.3.1.1. 離散一様分布
X ∼ DU{1, 2, 3, · · · , n}
(確率変数 X が離散一様分布に従っている、
という意味)
🌾1から n までのカードからカードを引く、
といったときに良くつかわれる分布である。
1.3.1.1. 離散一様分布
確率関数：
1
n
平均：
n+1
2
分散：
(n+1)(n-1)
12
1.3.1.1. 離散一様分布
離散一様分布の図例
1.3.1.2. 二項分布
X ∼ Bin(n, p) (nは正の整数、0<p<1)
n 回試行した際の、成功回数 x 回の分布。
毎回、成功する確率はpとし、成功しない確
率はqとする。p+q=1。
1.3.1.2. 二項分布
æ n ö k n-k
確率関数： P(X = k) = ç
÷p q
è k ø
平均：
np
分散：
npq
1.3.1.1. 離散一様分布
二項分布の図例
1.3.1.3. ポアソン分布
X ∼ Po(λ) (x = 0,1,2,···)
試行回数が大だが、成功確率が小の場合は、
ポアソン分布となる。
🌾1時間あたりの電話がかかってくる件数、
1分間ウェブサイトにアクセス数、1年間自
動車事故件数など、一定的な空間、時間の
中にめったに起こる事象に利用。
1.3.1.3. ポアソン分布
確率関数：
P(X = k) =
平均：
l
分散：
l
le
k -l
k!
1.3.1.1. 離散一様分布
ポアソン分布の図例
1.3.1.1. 離散一様分布
1.3.2. 連続型
•
•
•
•
•
•
•
•
•
•
•
連続一様分布
三角分布
正規分布
対数正規分布
指数分布
ガンマ分布
ベータ分布
t分布
F分布
カイ二乗分布
その他
1.3.2.1. 連続一様分布
X ∼ U(a, b)
(a<x<b)
母数 a と b で定義され、それぞれ最小値
と最大値である。
1.3.2.1. 連続一様分布
確率関数：
1
b- a
平均：
a+ b
2
分散：
(b- a)
12
2
1.3.2.1. 連続一様分布
連続一様分布の図例
1.3.2.1. 連続一様分布
1.3.2.1. 連続一様分布
モンテカルロ法で円周率を求める
1.3.2.2. 正規分布
X ∼ N(μ,σ2) (−∞<μ<∞)(0<σ<∞)
μ：平均
2:分散
σ
統計学で最も重要な分布で、偶発的なデータの
ゆらぎによって生じる確率分布です。
🌾推定や検定といった統計学の分野でよく利
用される、χ2分布、F分布、t分布などの確率
分布は、正規分布から派生するもの。
1.3.2.2. 正規分布
確率関数：
( x-m )2
2s 2
1
e
2ps
平均：
m
分散：
s
2
1.3.2.2. 正規分布
正規分布の図例
1.3.2.2. 正規分布
1.3.2.3. 指数分布
X ∼ Exp(λ)
(0<x<∞)
or X ∼ Γ(1, β)
(0<x<∞)
🌾ポアソン分布と対を成す分布で、単位時
間あたりの客の到着数がポアソン分布に従
う場合に、その客の到着時間間隔の確率分
布が指数分布です。
1.3.2.3. 指数分布
確率関数：
平均：
le
-lx
1
l
1
分散：
l
2
1.3.2.3. 指数分布
指数分布の図例