Transcript 情報理論 - 北海道大学

1
北海道大学
Hokkaido University
情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕
講義「情報理論」(クラスC)
第2回
第2章 情報量とエントロピー(前半：2.1〜2.3)
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
2
情報量はどう定義すべきか？

よくあることが起こったという情報•••••価値が低い
– 必ず(確率1で)起こることが起こったと知らされる → 得られる情報量は 0

めったに起こらないことが起きたという情報•••••価値が高い
– ほとんど起こらない(確率が 0 に近い)ことが起きたと知らされる
→ 情報量は大！
[１月の札幌]
Case 1
外の天気を知らない場合
情報量は小
外の天気を知らない場合
情報量は大
外の天気を知っている場合
情報量は０
Case 2
Case 3
2015/04/16
2011/04/08
情報理論 講義資料
北海道大学 Hokkaido University
3
一つの結果を知ったときに得る情報量
確率 p で起こることが起こったと知った場合に、得られる情報量
を I(p) とすれば、I(p)はどんな条件を満たすべきか？
確率が大きいほど情報量は小さい
I(p) は p の単調減少関数である
２つの独立な事象の生起を同時に
知ったときに得られる情報量は、片
方ずつ知ったときに得られる情報
量の和
確率p1, p2で起こる二つの互いに独立
な事象の結合確率p1p2について
確率に差がなければ情報量も差が
ない
I(p) は p の連続関数である

I(p1p2)＝I(p1)＋I(p2)
これらを満たす関数 I(p) は
I(p) ＝ －loga p

という形しかありえない（a は定数）。
I(1/2)＝1 とすると a＝2 となり、情報量 I(p)＝－log2 p となる
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
4
情報量の定義
[定義] 確率pで生起する事象が起こったことを知ったとき、得ら
れる情報量I(p)を自己情報量(self-information)とよび
I(p)=－loga p
と定義する。
情報量の単位は
a=2のとき ビット(bit)
a=eのとき ナット(nat)
a=10のとき デシット(decit) or ハートレー(Hartley)
1bitの情報量=確率1/2で生起する事象が起こったことを知った
とき得られる情報量
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
5
どっちの天気情報の方が価値が高い？
[１月の札幌]
[６月の東京]
晴
曇
雨
雪
割合(%)
5.5
1.2
0.2
93.1
自己情報量(ビット)
4.18 6.38 8.97 0.10
2015/04/16
2011/04/08
晴
曇
雨
雪
割合(%)
32.1 27.6 40.3
0
自己情報量(ビット)
1.63 1.85 1.31
∞
情報理論 講義資料
北海道大学 Hokkaido University
6
平均情報量
M個の互いに排反な事象a1, a2,・・・, aM が起こる確率が、 p1,
p2,・・・, pM （ただし、p1+p2+・・・+pM=1)であるとき、M個の内の
１つの事象が起こったことを知ったときに得られる平均情報量
は
M
Ī ＝－∑ pi log2 pi
i =1
である。
平均とは期待値のことであるから上式は
M
Ī ＝∑ pi I(pi)
i =1
より求められている。
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
7
平均情報量の計算例
[１月の札幌の天気を知ることにより得られる平均情報量]
晴
曇
雨
雪
割合(%)
5.5
1.2
0.2
93.1
自己情報量(ビット)
4.18 6.38 8.97 0.10
Ī = - 0.055 log20.055 - 0.012 log20.012 - 0.002 log20.002 - 0.931 log20.931
=0.055×4.18 + 0.012×6.38 + 0.002×8.97 + 0.931×0.10
=0.4175( もう少し厳密に計算すると0.4207)
6月の東京の天気を知ることにより得られる平均情報量と比べてどちらが大きいか？
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
8
エントロピー（＝平均情報量）
X:１月の札幌の天気を表す確率変数、X∈{晴,曇,雨,雪}
１月の札幌の天気を知ることにより得られる平均情報量Ī
=-
å
P{X = x}log2 P{X = x}
xÎ{晴,曇,雨,雪}
確率変数Xの取りうる値をa1, a2,・・・, aM とし、Xがそれぞれの値
をとる確率がp1, p2,・・・, pM （ただし、p1+p2+・・・+pM=1)である
とき、確率変数XのエントロピーH(X)は、
M
H(X)＝－∑ pi log2 pi
i =1
と定義される。
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
9
あいまいさの尺度としてのエントロピー
エントロピーは本来熱力学の用語であり、
力学系の無秩序さを表す尺度として用いられる。
 情報理論におけるエントロピーも、同様に無秩序さ、
いいかえれば、あいまいさを表す尺度である。

– 確率変数XのエントロピーH(X)は、試行の結果（Xの実現値）を知る以
前に、Xついて我々が持つ知識のあいまいさの尺度である。
– Xの取りうる値各々の発生確率は知っているが、試行の結果がどうなる
かは確定できない（あいまいさがある）。
– 試行の結果を知った時点でその（H(X)の量の）あいまいさが消失する
→ あいまいさが H(X) から 0 へと変化
→ 得られた情報量 I(X)＝H(X)－0＝H(X)
「確率変数Xの情報量」
＝ 「その情報（Xの実現値）を受け取ることによるエントロピーの減少量」
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
10
エントロピーの最小値と最大値

M個の値a1, a2,・・・, aM をそれぞれ p1, p2,・・・, pM の確率でとる確率変数X
を考える。Xのエントロピーは
M
H(X) ＝－∑ pi log2 pi
i =1
である。0≦pi≦1 なので、明らかに
0 ≦ H(X)
ある一つの値しか
とらないことが
わかっている。
であり、この式の等号が成立するのは、 p1, p2,・・・, pM のうち一つが 1 で
他が 0 の場合である。

次のページの補助定理より
M
H(X)＝ －∑ pi log2 pi ≦ log2 M
すべての値を
等しい確率でとる。
i =1
を得る。この式の等号が成立するのは pi＝1/M のときである。
M個の値をとる確率変数Xのエントロピーは次を満たす
0 ≦ H(X) ≦ log2M
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
11
シャノンの補助定理
M
－∑ pi log2 pi ≦ log2 Mを証明するために、次の補助定理を使う。
i =1
シャノンの補助定理
p1,p2,・・・,pMおよびq1, q2, ・・・, qM を
p1+p2+・・・+pM = 1,
q1 + q2 + ・・・ + qM ≦ 1
を満たす任意の非負の数とする（ただし、pi≠0 のときは qi≠0 とする）。
このとき、 M
M
–∑ pi log2 qi ≧ –∑ pi log2 pi -------------------------------------①
i=1
が成立する。
i=1
等号は qi = pi ( i = 1, 2, ・・・, M)のとき、またそのときに限って成立する。
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
12
シャノンの補助定理の証明
（証明） 式①の右辺から左辺を引いた結果をDとおくと
M
M
D = –∑ pi log2 pi +∑ pi log2 qi
i=1
i=1
qi M pi
q
= ∑ pi log2 = ∑
ln i
pi
pi i=1 ln 2
i=1
となるので D≦0 を示せばよい。よく知られた不等式
M
ln x ≦ x – 1
を用いると、
M
M
M
pi qi
1
D ≦ ∑ ln 2 pi －1 = ln 2 ∑ qi – ∑ pi
i=1
i=1
i=1
M
1 ∑
qi －1 ≦ 0
=
ln 2 i=1
を得る。したがって、式①が証明された。
また、等号は qi /pi = 1 ( i = 1, 2, ・・・, M) となるとき、
すなわち、 qi = pi となるとき成立する。
2015/04/16
図4.3 ln x≦x–1 の説明図
情報理論 講義資料
北海道大学 Hokkaido University
13
エントロピー関数

0と1の２つの値を確率p, 1−pの確率でとる確率変数Xのエント
ロピーH(X)は
H(X)=− p log2 p − (1−p)log2(1−p)
y
これは1変数の関数
H(x)=− x log2 x − (1−x)log2(1−x)
1
0.8
0.6
におけるx=pのときの値H(p)とみることができる。
0.4
H(p)をエントロピー関数とよぶ。
0.2
x
0.2
0.4
0.6
0.8
1
図4.8 エントロピー関数
2015/04/16
情報理論 講義資料
北海道大学 Hokkaido University
14
エントロピー関数の性質
y
1
0≦H(x)≦1
0.8
x=1/2で最大値1
0.6
x=0, 1で最小値0
0.4
上に凸（d2H(x)/dx2<0)
0.2
x
0.2
0.4
0.5 0.6
0.8
1
直線x=1/2に関して対称
(H(1/2+x)=H(1/2−x))
エントロピー関数
2015/04/16
情報理論 講義資料