Transcript Information Theory

今日の予定
講義 30分
（前回の練習問題の解答）
シャノンの通信路符号化定理（の概略）
試験（＋授業評価アンケート） 60分
1
前回の練習問題
𝑛 = 15, 𝑘 = 11のハミング符号の検査行列，生成行列を作れ
上記の符号に対し，p.27 のように，性能を評価せよ
𝑛 = 15 = 24 − 1 なので，𝑚 = 4
検査行列
1

1
1

1
1 1 1 0 1 1 1 0 0 0 1 0
1 1 0 1 1 0 0 1 1 0 0 1
1 0 1 1 0 1 0 1 0 1 0 0
0 1 1 1 0 0 1 0 1 1 0 0
24 – 1 個の非ゼロ列ベクトル








0 0
I

0 0


1 0


0 1




生成行列 
1 1 1 1

1 1 1 0
1 1 0 1

1 0 1 1
0 1 1 1

1 1 0 0
1 0 1 0

1 0 0 1

0 1 1 0
0 1 0 1

0 0 1 1
2
前回の練習問題（続）
ビット誤り率 𝑝 の BSC上で，𝑘 = 11ビット情報を送受信
情報が正しく伝わる確率を評価
符号化を行わない... 1 − 𝑝 11
𝑛 = 15, 𝑘 = 11のハミング符号 ... 1 − 𝑝
15
+ 15 1 − 𝑝
14 𝑝
1
0,8
ハミング符号
0,6
0,4
0,2
符号化なし
0
0
0,1
𝑝
0,2
0,3
0,4
0,5
3
今日の内容
通信路符号化の性能の限界について紹介する
「シャノンの通信路符号化定理」
シャノンの情報源符号化定理（５回目の講義）
【逆定理】 𝐿 < 𝐻(𝑆)であるような符号は存在しない
【順定理】 𝐿が𝐻(𝑆)に限りなく近い符号を構成することができる
4
符号化率
誤り訂正・誤り検出
情報記号𝑘 ビットに，検査記号𝑛 − 𝑘ビットを追加して符号化
検査記号の数は，少ないほうが好ましい（効率が良い）
誤り耐性
𝑘
𝑟 = : 符号化率...誤り訂正符号の効率を測る指標（の一つ）
𝑛
効率が高い ＝ 符号化率が高い
⇒ 誤り訂正のための検査記号が少ない
⇒ 誤り訂正能力は期待できない
強
弱
低
効率
高
5
符号化率と符号の性能
信頼性確保のためには，効率を犠牲にしなければならない
𝑝(𝑟)： 符号化率 𝑟の一番良い符号が，情報を正しく伝える確率
３種類の異なる「予想」
a. どれだけ 𝑟 を小さくしても，𝑝(𝑟) は 1に収束しない
b. 𝑟を 0に近づけると，𝑝 𝑟 は 1に収束する
c. 𝑟 がある定数 𝑟’ より小さくなると，𝑝 𝑟 は1に収束する
𝑝(𝑟)
1
b
c
a
どの予想が正解？
0
𝑟’
1
𝑟
6
符号化率と符号の性能（続）
𝑝(𝑟)
正解は...
c. 𝑟 がある定数 𝑟’ より小さくなると， 1
b
𝑝 𝑟 は1に収束する
a
... ただし，これではやや正確
c
𝑟
0
𝑟’
1
通信路によって定まる定数 𝑟’ が存在し，
𝑟 ≤ 𝑟’ ならば，
任意の微小な𝜖に対し，
「情報を正しく伝える確率 ≥ 1 − 𝜖」となる符号が存在する
7
通信路容量
Q: 「通信路によって定まる定数 𝑟’」の正体は？
A: その通信路の通信路容量
通信路容量（第３回講義）
通信路の入力と出力の相互情報量の最大値
ビット誤り率 𝑝 の 2元対称通信路
𝐶 = 1 − (−𝑝 log 2 𝑝 − 1 − 𝑝 log 2 1 − 𝑝)
消失確率 𝑝 の 2元消失通信路
𝐶 =1−𝑝
8
シャノンの通信路符号化定理
シャノンの通信路符号化定理
通信路容量が 𝐶 である通信路を考える
【順定理】
任意の 𝜖， 𝑟 ≤ 𝐶 である任意の 𝑟 に対し，符号化率が 𝑟 で，
「誤って情報を伝える確率」が 𝜖 以下となる符号が存在する
【逆定理】
𝑟 > 𝐶ならば，符号化率 𝑟 のどの符号も，
「誤って情報を伝える確率」を 0 に近づけることはできない
符号化率を 𝐶 以下に抑えれば，誤りの影響を（ほぼ）排除できる
9
少し具体的な例
1
0,8
𝑝 = 0.11のとき，𝐶 ≈ 0.5
0,6
符号化率 𝑟 = 0.5
0,4
0,2
情報記号と同数の検査記号を 0
「工夫して」付与すればよい
0
0,05
0,1
0,15
0,2
0,25
0,3
0,35
0,4
0,45
0,5
ビット誤り率 𝑝 の2元対称通信路（BSC）
𝐶 = 1 − (−𝑝 log 2 𝑝 − 1 − 𝑝 log 2 1 − 𝑝)
送信データ量を倍にすることを許容すれば，
ほぼ100%正しく情報を伝えることができる，はず
10
いくつかの注意点
【順定理】
任意の 𝜖， 𝑟 ≤ 𝐶 である任意の 𝑟 に対し，符号化率が 𝑟 で，
誤って情報を伝える確率が 𝜖 以下となる符号が存在する
「符号が存在する」ことは証明している
「具体的な符号の作り方」は示されていない
「ハフマン符号 ＋ ブロック化」が，
情報源符号化定理の理論限界に迫るのと対照的...
11
まとめ
情報理論の基礎的知見を紹介した
chapter 1: 情報を測る
chapter 2: 情報をコンパクトに表現する
chapter 3: エラーから情報を守る
講義では「完成度の高い部分」だけを紹介
まだ未完成で，研究が進められている課題も多い
⇒ III 期の情報理論
12