Transcript 情報理論 - 北海道大学

1
北海道大学
Hokkaido University
情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕
講義「情報理論」(クラスC)
第1回
第１章 情報理論とは
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
2
情報理論とは
情報の伝達を効率よく、信頼性高く行うための理論
キーワード：情報の伝達、効率性、信頼性
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
3
情報の伝達
情報の伝達の本質は、受け手の知識の変化
受け手の知識の変化が大きいのは？
<１月の札幌の天気> 受け手は札幌に長年住んでいると仮定
Case 1
Case 2
Case 3
2015/04/10
雪降っているよ
外の天気を知らない場合
雨降っているよ
外の天気を知らない場合
雨降っているよ
外の天気を知っている場合
情報理論 講義資料
北海道大学 Hokkaido University
4
情報の伝達
受け手の知識の変化＝
何らかの統計的知識に基づいて受け手が与えている
確率分布の変化
確率分布
受け手の世界
晴
曇
5.5%
1.2%
雨
雪
0.2% 93.1%
統計的知識
雨降っているよ
過去の統計とか
2015/04/10
晴
曇
雨
雪
0%
0%
100%
0%
情報理論 講義資料
北海道大学 Hokkaido University
5
通信システムのモデル
情報理論では、受け手の世界（確率分布）を既知と仮定して、
情報伝達の効率性と信頼性についての理論を展開する。

– そのためには通信モデルをはっきりさせる必要がある。
誤りや
ひずみ
符号器
情報源
information
source
ディジタル情報源
アナログ情報源
2015/04/10
通信路
符号化
Communication
channel
coding
データ（通報)
data(message)
ディジタル情報
アナログ情報
今日学校の帰りに
カラオケ行こうぜ
電波
復号器
復号
あて先
decoding
destination
電線
光ファイバ
記録媒体
人間
etc…
光ファイバーなど
データ（通報)
data(message)
電波
今日学校の帰りに
カラオケ行こうぜ
情報理論 講義資料
北海道大学 Hokkaido University
6
ディジタルとアナログ
ディジタル量： 離散的な値をとる量（例： 記号、数字）
ディジタルデータ(通報)： ディジタル量で表されるデータ(通報)
ディジタル情報源： ディジタルデータ(通報)を発生する情報源
ディジタル通信路： 入出力ともにデジタル量である通信路
アナログ量： 連続的な値をとる量（例： 音声、画像）
アナログデータ(通報)： アナログ量で表されるデータ(通報)
アナログ情報源： アナログデータ(通報)を発生する情報源
アナログ通信路： 入力、出力の少なくとも一方がアナログ量で
ある通信路
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
7
ディジタル通信路・アナログ通信路

0,1で表されるディジタル量をパルスに変換してアナログ量に
できる。下図のようなシステムの場合、③④⑤をまとめてデジ
タル通信路と考えることもできる。
デジタル通信路
①
②
英文の
情報源
英文
⇒0,1の列
③
アナログ通信路
0→
1→
⑦
⑥
⑤
あて先
0,1の列
⇒ 英文
パルスの極性の判定
＋ ⇒ 0, － ⇒ 1
④
音声アナログ情報をパルス符号変調技術(PCM)によってディ
ジタル量にできる。（アナログ通報もディジタル通信路で送るこ
2015/04/10とが可能）
情報理論 講義資料

北海道大学 Hokkaido University
8
効率性・信頼性の高い符号化
より効率よい（短い系列への）符号化 ⇒ 情報源符号化
 より信頼性を高めるための符号化 ⇒ 通信路符号化

(例）
英文の
情報源
符号化
英文 ⇒ 0,1の列
ディジタル通信路
2元通信路
入力、出力ともに0,1
あて先
2015/04/10
復号
0,1の列 ⇒ 英文
情報理論 講義資料
北海道大学 Hokkaido University
9
効率的で信頼性が高い符号とは？

例）天気情報を２元通信路を介して送る
1. ２元通信路では送られた記号数に応じて課金される。
できるだけ送る記号数を減らしたい。
2. 送られた情報源記号晴,曇,雪,雨が誤っている確率を
小さくしたい。
情報源記号
晴
曇
雨
雪
情報源
{晴,曇,雪,雨}
2015/04/10
確率
0.055
0.012
0.002
0.931
符号化
2元通信路
復号
あて先
coding
誤り率10-3
decoding
destination
情報理論 講義資料
北海道大学 Hokkaido University
10
効率的な情報源符号化法とは
【問1.2】
符号語
情報源記号
晴
曇
雨
雪
確率
0.055
0.012
0.002
0.931
0
0
1
1
C1
0
1
0
1
C2
10
110
1110
0
符号アルファベット＝{0,1} : 2元符号
（q個あったらq元符号）
C1とC2ではどっちが効率的(通信料が安くなる)？
１情報源記号あたりの平均符号長が短いほど効率的（通信料が安い）！
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
11
信頼性の高い通信路符号化法とは
【問1.3】
誤り
符号化
0→000
1→111
誤り率10-3
通信路
復号化
xyz→MAJORITY{x,y,z}
例）010→0
110→1
復号誤り率は？
-3 2
-3
-3 3
3C2(10 ) (1-10 )+(10 )
≈ 3・10-6
情報源符号化と合わせて1つの符号語の中に誤りが生じる確率は？
C1の場合
約6・10-6
C2の場合は？ → 教科書【問1.4】参照
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
12
情報理論の問題の設定

情報源（と宛先）および通信路が与えられたとき次の二つを
達成する符号化の具体的方法および符号化による改善の
理論的限界を探る
– 通信路使用の効率（efficientcy）の向上
– 信頼性（reliability）の向上
符号化
情報源
情報源
符号化
符号化部分を分けて考える！
通信路
符号化
通信路
復号
あて先
2015/04/10
情報源
復号
通信路
復号
情報理論 講義資料
北海道大学 Hokkaido University
13
情報理論の分野
Claude Elwood Shannon（クロード・エルウッド・シャノン）

C. E. Shannon, “A mathematical theory of
communication,” Bell System Technical Journal, vol.
27, pp. 379-423 and 623-656, July and October,
1948.
符号化の限界を主眼とする理論
シャノン理論ともいう
（狭義の）情報理論
（狭義の）符号理論
（代数学に基づく）通信路符号化の具
体的構成法および符号化・復号法を主
眼とする理論
2015/04/10
Claude Elwood Shannon
(1916-2001)
暗号理論
安全な情報伝達の理論
（狭義の）信号理論は本講義では取り扱わない
情報理論 講義資料
北海道大学 Hokkaido University
14
シャノン理論

情報量の定義
確率pの事象が起こったことを知ったとき、どれだけの情報量を得たと考
えればよいか

情報源符号化の概念とその限界
情報源の確率モデルが与えられたときに、どれだけ短く符号化できるか

通信路符号化の概念とその限界
通信路の確率モデル（誤り発生のモデル）が与えられたときに、どれだけ
の速度で情報を安全に情報を送れるか
2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
15
情報理論の応用分野
情報量、エントロピー
自然言語処理
 情報源符号化（高能率符号化技術）
データ圧縮、音声・画像の符号化
 通信路符号化（誤り訂正技術）
通信、電子計算システム、オーディオ、ビデオ
 情報理論的な考え方
機械学習、パターン認識

2015/04/10
情報理論 講義資料
北海道大学 Hokkaido University
16
現代の情報理論
多端子情報理論
複数の情報源の符号化、多入力多出力通信路の符号化
 アドホックネットワークにおける通信理論
ad hoc•••••その場限りの
 電子透かし技術
改竄や不正コピーを検出する技術
 暗号化技術•認証技術
情報の漏洩を防ぐ技術
 量子情報理論
量子力学的な素子を直接操作する情報処理の理論

2015/04/10
情報理論 講義資料