Transcript 確率の推定方法

確率の推定方法
最尤推定
1
対数関数における指数法則
指数関数と対数関数
問題
以下の指数関数を対数関数で表しなさい
1 e
0
log1  0
問題
以下の指数関数を対数関数で表しなさい
ee
1
log e  1
問題
x , y を以下の関数とする xy を求めなさい
xe
n
ye
m
xy  e e  e
m n
m n
問題
以下の指数関数を対数関数で表しなさい
m
log x  m
n
log y  n
m n
log xy  m  n
xe
ye
xy  e
 log x  log y
問題
x を以下の関数とする。 xy を求めなさい
xe
m
 
x  e
y
m y
e
my
問題
以下の指数関数を対数関数で表しなさい
xe
x e
y
log x  m
m
my
log x  my
 y log x
y
対数変換
関数の変換
対数変換
y = f (x) とする。
ここで両辺の値を真数とする対
数をとると、以下の式が成り立つ。
log y=log f (x)
この変換を対数変換という。
確率
• 偶然に支配されている現象の観測
– コインの表裏
– サイコロの目
• 結果を断定的に予測することはできないが観
測を多数回繰り返すとある種の法則は見出
せる
11
試行と事象
• 何回も繰り返せてその結果が偶然に支配さ
れるような実験や観測を「試行」という
• 試行の結果として起こる事柄を「事象」という
• 例
– サイコロを投げることは「試行」であり、それぞれ
の目が出ることは「事象」である
12
相対度数と確率
• ある試行を n回繰り返したとき事象E がr 回起
こったとする。
• nを十分に大きくすると事象E の相対度数r/n
はほぼ一定の値pに近づいていく
• この値pを確率といいp(E)と書く
13
サイコロを使った事象の説明
•
•
•
•
それぞれの目（１）（２ ）（ ３ ）（ ４ ）（ ５ ）（ ６）
偶数と奇数（２・４・６）（１・３・５）
３以下と４以上（１・２・３）（４・５・６）
１とそれ以外（１）（２・３・４・５・６）
14
確率の最大値と最小値
境界条件
• p (E) = r/n においてrは事象Eの起こった回数
• r の最小値
– 一度も事象Eが起らなかったとき
–r=0
– p(E) = 0/n = 0
• r の最大値
– すべての試行でEが起こったとき
–r=n
– p(E) = n/n = 1
15
確率の合計値
集計条件
• 十分に大きなn回の試行における事象Eiがお
こった回数をriとする。
• すると確率は p(Ei) = ri / n
• 起こりうる事象の数は m とする
• r1+r2+・・・+rm = n なので起こりうるすべての
事象の確率の総和は1となる
16
y = 1の確率 y = 0の確率
y = 1のときの確率を p とし、 y =0のとき
の確率を 1 - p とすると y が得られる尤
度は以下のようにあらわされる。
li  pi 1  pi 
yi
1 yi
尤度関数と対数尤度関数
n

L   pi 1  pi 
yi
1 yi

i 1
尤度関数は 0 ≦ pi ≦ 1の積であるため
極めて小さい値となることが少なくない。
そこで尤度関数を対数変換したものが利用される。
対数関数は単調関数なので、尤度関数を最大化す
るパラメータは対数尤度関数を最大化するパラメー
タに一致する。
問題
尤度関数を対数変換しなさい
n

L   pi 1  pi 
yi
1 yi

i 1
n
log L    yi log pi  1  yi  log1  pi 
11
ベルヌーイ試行
• ある事象Eがおこる確率を P(E) = p
Eがおこらない確率を P(q) = 1-pとする確率
• もっとも単純な確率
• 0≦p≦1
• 0≦q≦1
• p+q=1
• たとえばコインを投げ表が出るかどうかを観
測する試行はベルヌーイ試行である
20
コインを３回投げたときの確率の推定
• コインを３回投げたとき、表・表・裏が出たとす
る
• このコインの表が出る確率を推定する
• コインの表が出る確率をpとする
• ３回の試行は独立であるので同時確率は
p×p× (1-p)
• この値（尤度）を最大化するようにpを求める
方法が最尤法（最大尤度法）
21
「表表裏」の時の尤度
p
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1-p
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
p2(1-p)
22
表表裏の尤度
1.00
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
23
表表表の尤度
1.00
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
24
表裏裏の尤度
1.00
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
25
裏裏裏の尤度
1.00
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
26
３回のベルヌーイ試行の尤度
1.00
尤度(L)
0.80
0.60
表表表
表表裏
表裏裏
裏裏裏
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
27
４回のベルヌーイ試行の尤度
1.00
表表表表
表表表裏
表裏裏裏
裏裏裏裏
表表裏裏
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
28
５回のベルヌーイ試行の尤度
1.00
表表表表表
表表表表裏
表表表裏裏
表表裏裏裏
表裏裏裏裏
裏裏裏裏裏
尤度(L)
0.80
0.60
0.40
0.20
0.00
0.00
0.20
0.40
0.60
0.80
1.00
表の出る確率(p)
29