情報とエントロピー

Download Report

Transcript 情報とエントロピー 

情報システム工学Ⅰ 宿題２
Ｊ４４９７０２３ 加藤 保昌
情報とエントロピー
確率Ｐと情報量ｎとの関係
情報量：
〇基本単位量を“二者択一の質問から得られる情報量”と定義し、
それを１「ビット」と定めた。
4
3.5
四 者 択 一 を す る に 必 要 な 情 報 量 は ， 2「 ビ ッ ト 」
八者択一をするに必要な情報量は，３「ビット」
3
二のｎ乗者択一をするに必要な情報量は，ｎ「ビット」
ｘ 者 択 一 を す る に 必 要 な 情 報 量 を 、 ｎ 「 ビ ッ ト 」 と す る と 、、
n
２　＝ｘ
ｎ ＝ log Ｘ
２
となる。
情報量を確率の側面から考える：
ある確率Ｐで起こる事象が、実際に起こったことを知ったときに
情報量ｎ
↓
2.5
2
1.5
1
0.5
得られる情報量ｎは次式で与えられる。
0
ｎ ＝ log ２１ /P ＝ log ２ １ – log ２Ｐ
＝ ― log　Ｐ
「
ビ
ッ
ト
」
２
0
0.2
0.4
0.6
確率Ｐ
0.8
1
確率ＰとエントロピーＨとの関係
1
“ 予 想 の つ け に く さ の 尺 度 ”、“ 不 確 か さ を あ ら わ す 量 ” と 定 義 し た 。
数 式 で 示 す と 、 ２ 種 類 の 事 象 Ｅ 1、 Ｅ 2 を 考 え る 。
Ｅ1 の生じる確率＝Ｐ
Ｅ2 の生じる確率＝１－Ｐ
この場合のエントロピーＨは、次式で与えられる。
Ｈ ＝ Ｐ log ２ 1 /P + (1 – P )log ２ 1 /(1 – P )
＝ － Ｐ log　２ 1 /Ｐ － （ １ － Ｐ ） log ２( 1 ‐ Ｐ ) [ビ ッ ト ]
エ ントロピー Ｈ （ ビッ ト）
0.9
エントロピー：
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
事象がｎ種類ある場合のエントロピーＨを求める
互 い に 排 反 事 象 で あ る ｎ 種 類 の 事 象 Ｅ 1、 Ｅ 2、 ‥ ‥ ‥ 、 E n を 想 定 す る 。 そ し
て 各 事 象 の 起 き る 確 立 を Ｐ 1、 Ｐ 2、 ‥ ‥ ‥ 、 Pn と 定 義 す る 。
このとき、エントロピーH は次式で与えられる。
H ＝ － P 1 log　P 2‥ ‥ ‥ ‥ － P n log ２ P n
２ P 1 － P 2 log ２
＝ － Σ P ilog ２ P i [ビ ッ ト ]
注 ： P 1 = P 2 = P 3 = ‥ ‥ ‥ = P n = 1 /n の と き 、 エ ン ト ロ ピ ー H は 最 大 と な る 。
0.5
確率Ｐ
1
確 率 と 情 報 量 ：
①条件付き確率とは、
Ｐ (B ｜ A )‥ ‥ ‥ Ａ な る 事 象 が 起 こ っ た と い う 条 件 で ，
B という事象が起こる確立のこと。
②
結合確率とは、
Ｐ (A ∩ B )‥ ‥ ‥ 事 象 Ａ と 事 象 Ｂ が 同 時 に 起 こ る 確 立 の こ と 。
事象Ａと事象Ｂとが互いに独立事象の場合
Ｐ (Ａ ∩ Ｂ )＝ Ｐ (Ａ )・ Ｐ (Ｂ )
となる。
①，②の間には
ま た 、Ｐ (B | A )の 値 が 分 か っ た と き に
Ｐ (Ａ ∩ Ｂ )＝ Ｐ (Ａ )・ Ｐ (Ｂ ｜ Ａ )＝ Ｐ (Ｂ )・ Ｐ (Ａ ｜ Ｂ )
得られる情報量を、条件付き情報量と
い い 、 ｎ (B | A )と 書 く 。
が成り立つ。
相互情報量：
“ 事 象 A が 起 こ る ”と い う 情 報 に 関 し て 、“ 事 象 B が 起 こ る ”
という情報が寄与した情報量のこと。
ｎ (A ； B )＝ ｎ (A )－ ｎ (A |B )　[ビ ッ ト ]
と、表示する。
平均相互情報量：
各 情 報 源 Ａ ，Ｂ の 平 均 情 報 量 に 関 す る も の で 、
エントロピーで表現される。
2種類の事象系に関するエントロピーの関係
２ 種 類 の 事 象 系 Ｅ と 、Ｓ の お の お の の エ ン ト ロ ピ ー を Ｈ (Ｅ )お よ び Ｈ (Ｓ )と す る 。さ
ら に こ の 2 種 類 の 事 象 系 Ｅ と Ｓ の 結 合 系 の 結 合 エ ン ト ロ ピ ー を Ｈ (Ｅ ,Ｓ )と し 、 条 件 付
き エ ン ト ロ ピ ー を Ｈ (Ｅ | Ｓ )と す る と 、
Ｈ (Ｅ ,Ｓ )＝ Ｈ (Ｓ )＋ Ｈ （ Ｅ | Ｓ ）
ま た 平 均 相 互 情 報 量 を ｎ (Ｓ ;Ｅ )と す る と
ｎ (Ｓ ;Ｅ )＝ Ｈ (Ｅ )＋ Ｈ (Ｓ )－ Ｈ (Ｅ ,Ｓ )
＝ Ｈ (Ｅ )－ Ｈ (Ｅ | Ｓ )
が成立する。
H(E)
H(E|S)
H(S)
H(S|E)
n(S;E)
H(E,S)