Transcript P - 北海道大学
1
北海道大学
Hokkaido University
情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕
講義「情報理論」
第9回
第6章 通信路のモデル
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
2
通信路の統計的表現
通信路
– 各時点において、一つの記号が入力され、一つの記号が出力される
– 出力は入力から一意的に定まるのではなく、確率的に決まる
入力アルファベット
A={a1,a2,…,ar}の元
Xt
通信路
Communication
channel
Yt
出力アルファベット
B={b1,b2,…,bs}の元
A=B かつ|A|=rのとき、r元通信路（r-ary channel）という
通信路の統計的性質は、任意の長さの入力系列X0 X1 …,Xn-1とそれに対応する出
力系列Y0 Y1 … Yn-1 の確率分布が与えられれば完全に定まる。
PY0Y1…Yn-1|X0 X1…Xn-1 (y0, y1, …, yn-1 | x0, x1, …, xn-1)
= 〔X0 = x0, X1 = x1, …, Xn-1= xn-1 であるとき、Y0 = y0, Y1 = y1, …, Yn-1= yn-1 となる確率 〕
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
3
記憶のない定常通信路
記憶のない通信路（memoryless channel）とは
各時点の出力の現れ方が、その時点の入力には関係するが、
それ以外の時点の入力・出力とは独立であるような通信路
n-1
PY0…Yn-1|X0…Xn-1 (y0,…, yn-1 | x0,…, xn-1) = Π PYi| Xi (yi | xi)
i=0
記憶のない定常通信路とは
時間をずらしても統計的性質が変わらない記憶のない通信路
各時点において、入力X が与えられたときの出力Y の条件付確率 PY | X (y | x)が同一
n-1
PY0…Yn-1|X0…Xn-1 (y0,…, yn-1 | x0,…, xn-1) = Π PY | X (yi | xi)
i=0
つまり、記憶のない定常通信路はPY | X (y | x)で決まる!
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
4
記憶のない定常通信路の表現法
～通信路行列と通信路線図～
通信路行列とは
r 元入力アルファベット A={a1,a2,…,ar}、
s 元出力アルファベット B={b1,b2,…,bs}、
条件付確率 pij = PY | X (bj | ai )
としたとき
入力
ai
出力
pij
bj
条件付確率 pij を (i , j ) 要素とする r×s 行列
ar
b1
p21
p22
a2
b2
・・・・・・・・
pr 1 pr 2 ・・・ pr s
a1
p11
p12
・・・・・
・・・
・・・
・・・
a1
a2
・・・
T=
b1 b2 ・・・ bs
p11 p12 ・・・ p1 s
p21 p22 ・・・ p2 s
ar
prs
bs
図： 通信路線図（channel diagram）
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
5
入出力に関して一様な通信路
～記憶のない定常通信路の例～
入力に対して一様な通信路とは
通信路行列の各行が同じ要素の順序を入れ替えたものになっている通信路
出力に関して一様な通信路とは
通信路行列の各列が同じ要素の順序を入れ替えたものになっている通信路
２重に一様な通信路とは 入力に対して一様でかつ出力に関して一様な通信路
例） 2元対称通信路（binary symmetric channel; BSC）
– 詳しくいうと「記憶のない定常2元対称通信路」
0
T=
1–p
例） 2元対称消失通信
0
T=
1 – pφ – p
p
1–p
1
p
φ
pφ
pφ
p
0
1–p
1
0
1
入力に対して一様
1
p
1 – pφ – p
p
0
p
0
0
1
φ：消失（erasure）
2013/06/14
２重に一様
1
1–p
1 – pφ – p
pφ
p
p
pφ
1 – pφ – p
1
0
X
1
情報理論 講義資料
北海道大学 Hokkaido University
6
2元通信路の誤りによる表現
入力アルファベット・出力アルファベットがともに {0,1} の2元通信路は、誤
り（error）を用いて表すことができる
誤り E を {0,1} の元とすると、２元通信路の
出力Y は入力X に誤り E を加えたものとみなせる！
Y=X⊕E
誤り源
E
Y=X⊕E
出力Y
⊕
入力X
2元通信路
E = 0 誤りなし
E = 1 誤り発生
図： 誤りによる2元通信路の表現
※ふつう誤りの発生は入力と統計的に独立であると仮定される[加法的通信路]
例） 2元対称通信路
0
1
1–p
p
p
1–p
0
誤 り 源 PE(1)=pの記憶のない定常情報源
誤りによる表現
1
E
入力X
このような誤りをランダム誤り（random error）という
誤りの発生確率 p をビット誤り率（bit error rate）と呼ぶ
2013/06/14
⊕
出力Y
情報理論 講義資料
北海道大学 Hokkaido University
7
バースト誤り通信路
バースト誤り通信路とは
誤りが一度生じると、その後しばらくの間は連続して誤りが発
生すると考える記憶のある通信路（記憶のある誤り源で表さ
れる）の代表的なモデル
バースト誤り（burst error）とは
密集して生じる誤り
例えば、誤り源から発信される系列が 0001111111111100000000011111110000・・・
という具合になる誤りのモデル
バースト誤り
バースト誤り
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
8
バースト誤り発生のマルコフモデルによる理解
誤り源が図のマルコフモデルで表せるような2元通信路を考え
る
Π=
s0
w0 =
P+p
w1 =
1/ 1–p
s1
0/ p
定常分布を w = (w0, w1) とすると、
wΠ = w および w0+w1 = 1 から、
p
1/P
0/ 1–P
1–P P
p 1–p
図： バースト誤り発生のマルコフモデル
P
P+p
ビット誤り率
誤り源の出力 E が 1 となる確率 PE(1) を求めると・・・
PE(1) = w0 P + w1 (1 – p) =
2013/06/14
1
P+p
{p P + P (1–p)} =
P
= w1
P+p
情報理論 講義資料
北海道大学 Hokkaido University
9
バースト誤りの長さの平均(1/2)
P.8の図の2元通信路で発生したバースト誤りの平均長は？
– 誤り系列における 1 の連続（1のラン）を任意に一つ取り出す
– その長さがℓ となる確率 PB(ℓ ) を求めると、
PB(ℓ ) = (1 – p)ℓ–1 p (ℓ = 1, 2, ・・・)
となる
最初の1の後に、
1がℓ –1連続する確率
0が出る確率
・・・0011111000・・・
– バースト誤りの長さ（バースト長）の
平均値ℓ は次のようになる
∞
ℓ = Σℓ PB(ℓ )
ℓ =1
∞
= Σℓ (1 – p)ℓ–1p
ℓ =1
= 1p
2013/06/14
図： バースト長の分布の例
(P=0.0001,p=0.1)
情報理論 講義資料
北海道大学 Hokkaido University
10
バースト誤りの長さの平均(2/2)
ℓ’:同じビット誤率 P/(P+p) のランダム誤り通信路のバースト誤
りの長さの平均長
ℓ’ < ℓ
実際、 p’=P/(P+p)とすれば、
∞
ℓ’ =Σ ℓ (p’) ℓ−1(1−p’)=1/(1−p’)=(P+p)/p
ℓ =1
となる。例えばP=0.001, p=0.1であれば、
ℓ=1/p=1/0.1=10
ℓ’=(P+p)/p=0.101/0.1=1.01
となり、 ℓ’ < ℓが成り立っている。
2013/06/14
情報理論 講義資料
北海道大学 Hokkaido University
11
通信が不安定な状態を表す誤りモデル
ギルバートモデル（Gilbert model）
– p.8の図のモデルでは、バースト誤りの発生期間はすべての記号が誤る
（ソリッドバースト誤り（solid burst error））
– 正誤が混在するバースト誤りの方が自然
– 状態Bのときは
P
1–p
1–P
1,0 をそれぞれ h, 1– h
G
B
の確率で発生させる
p
誤り発生率0
誤り発生率 h
（状態遷移と記号出力を分離）
図 ギルバートモデル
ビット誤り率
定常分布において状態G、Bにいる確率をwG、wBとすれば
PE(1) = wG × 0 + wB × h =
p
P+p
×0+
P
P+p
×h=
Ph
P+p
p.8の図のモデ
ルより小さい
バースト誤り（状態Bに連続的に留まる現象）の長さの平均値 ℓ は
ℓ =1/p
2013/06/14
p.8の図のモデルと同じ
情報理論 講義資料