Transcript pptx

通信路（７章）
1
通信路のモデル
情報
送信者
ìïï a1
, L
A= í
ïîï P( a1 ) , L
通信路
受信者
ü
, an
ïï
ìïï b1
, L
ý
B= í
, P( an )ïïþ
ïîï P( b1 ) , L
外乱（雑音）
送信情報源
（送信アルファベットと
生成確率）
ü
, bm
ïï
ý
, P( bm )ïïþ
受信情報源
（受信アルファベッと
受信確率）
でもよい。
m¹ n
2
イメージ
外乱（雑音）により
記号 ai を送信したら、
記号 bj が受信される。
記号の種類や数は異なっていて
もかまわない。
ai
ai を送信する。
bj
通信路
外乱（雑音）
bj
を受信する。
3
通信路は、送信記号 ai を送った
時、受信記号 bj が受信される確
率 P( ai ® bj ) でモデル化される。す
べての組み合わせの確率で一つの
通信路が定義される。
P( a1 )
P( a2 )
M
P( an )
a1
a2
M
an
bj
ai
P (ai ® bj )
b1
b2
M
bm
P( b1 )
P( b2 )
M
P( bm )
= P (bj | ai )
条件付き確率
ある生成確率で、
送信記号が送信される。 （順序に注意）
ある受信確率で、
受信記号が受信される。
4
通信路線図
" i,1 £ i £ n,
m
å
p( ai ® bj ) = 1
雑音により、記号が変化する。
j= 1
a1
A
a2
a3
P( a1 ® b1 )
b2
P( a2 ® b3 )
P( a1 ® bm )
b3
B
bm- 1
an
送信アルファベット
（ n 個の送信記号
の集合）
b1
P( an ® bm )
bm
受信アルファベット
（ m 個の受信記号
の集合）
5
通信路行列
送
信
ア
ル
フ
ァ
ベ
ッ
ト
b1 L
bj L
bm
é t11 L ­ L t1m ù
ê
ú
êM
ú
­
M
ê
ú
ê® ® tij
ú
ê
ú
êM
ú
M
ê
ú
êt
ú
L
L
t
êë n1
nm ú
û
éP( a1 ® b1 ) L P( a1 ® b j ) L
ê
ê
M
O
M
ê
= êêP( ai ® b1 ) L P( ai ® bj ) L
ê
M
M
ê
êP( a ® b ) L P( a ® b ) L
1
n
j
êë n
a1
M
T = ai
M
an
受信アルファベット
" i,1 £ i £ n,
m
å
tij = 1
j= 1
行で和をとると１。
（確率ベクトル）
P( a1 ® bm )ù
ú
M ú
ú
P( ai ® bm )ú
ú
M ú
ú
P( an ® bm )ú
ú
û
6
通信路行列(条件付き確率）
éP(b | a )
ê 1 1
ê
ê M
ê
T = êP(b1 | ai )
ê
ê M
ê
ê
êP (b1 | an )
ë
å
L
O
L
P (bj | a1 ) L
M
P (bj | ai ) L
M
L
O
P (bj | an ) L
P (bm | a1 )ù
ú
ú
M ú
ú
P (bm | ai )ú
ú
ú
M ú
ú
P (bm | an )ú
û
P(b | a = a)= 1
正方行列
とは限らな
い。
（行数と列
数が違っ
ていても
良い。）
b
条件付き確率の性質。
ある条件を固定したとき、確率の総和は１．
7
通信路行列の意味
1 £ i £ n,1 £ j £ m
tij = P( bj | ai ) = P( ai ® bj )
通信路行
列の要素
ai を送くる条件の下で、
bj が受信される確率
ai を送信したら、
bj が受信される確率
通信路行列の関係式
ìï " i, j,1 £ i £ n,1 £ j £ m 0 £ tij £ 1
ïï
ïí
m
ïï " i,1 £ i £ n
tij = 1
å
ïïî
j= 1
確率の式。
（行ベクトルが
確率ベクトル）
8
通信路例１（２元対称通信路）
1- p
p
0
p:誤り 確率
0
p
A = {0,1}
1
B = {0,1}
1- p
é1- p
p ù
ú
TS = ê
êë p 1- pú
û
1
応用上重要。
誤り確率により、対
称的に送信記号が
変化する。
9
具体的な２元対称通信路
誤り 確率p = 0.2
0
A = {0,1}
1
0.8
0.2
0.2
0
B = {0,1}
1
0.8
é0.8 0.2ù
ú
TS = ê
êë0.2 0.8ú
û
通信路行列は、
対称行列になる。
10
通信路例２（２元対称消失通信路）
1- px - pe
0
A = {0,1}
1
px
pe
pe
px
1- px - pe
é1- px - pe
TX = ê
êëpe
0
X
pe :誤り 確率
px :消失確率
B = {0,X ,1}
Xは消失を意
味する記号。
1
ù
px pe
ú
px 1- px - pe ú
û
応用上重要。
送信記号の
消失と誤りの
両方が起こる。
11
具体的な２元対称消失通信路
誤り 確率pe = 0.1
0
A = {0,1}
1
消失確率px = 0.3
0.6
0
0.3
0.1
B = {0,X ,1}
X
0.1
0.3
0.6
é0.6 0.3 0.1ù
ú
TX = ê
êë0.1 0.3 0.6ú
û
1
（数学的な対称行
列ではないが）
ある種の対称性が
存在する。
12
練習
次の通信路線図で表されている通信路の、
通信路行列を求めよ。
（１）
1- px
0
px
qx
1
1- qx
0
（２）
a
b
X c
1
d
1- p
p p
1- p
p
a
b
c
d
1- p
p
1- p
13
練習２
次の通信路行列で表されている通信路の通信路
線図を示せ。
（１）
A = {a,b,c}
受信情報源 B = {a,b ,c }
送信情報源
（２） 送信情報源
受信情報源
é1ê
ê
T2 = êê
ê
ê
ë
é0.7 0.2 0.1ù
ê
ú
T1 = êê0.2 0.6 0.2úú
ê0.1 0.2 0.7ú
ë
û
A = {a,b,c,d}
B = {a,b ,c ,d }
p- q
p
p
1- p - q
0
p
1q
0
0
q
p- q
p
1-
q ù
ú
0 ú
ú
q ú
ú
p - qú
û
14
通信路での確率の関係１
（全確率の公式）
通信路を通して受信される
" j,1 £ j £ m,
記号の受信確率は、送信記
号の生成確率と通信路の確
率的振る舞いで定まる。
n
P( bj ) =
å
P( bj | ai )P( ai )
i= 1
=
n
å
P( ai )P( ai ® bj )
i= 1
n
=
å
pitij
i= 1
15
証明
A
a1
P( a1 )
1
a2
ai
P( ai )
P( ai )
an
B
P( a1 ® bi )
P( ai ® bi )
P( an ® bi )
b1
bj
P(bj )
bm
bi が受信される全ての可能性（径路）
図より、成立する。
を考えて総和をとる。
QED
16
別証明
結合確率と条件付き確率の関係式。
(1) P( ai ,bj ) = P(bj | ai )P( ai )
結合確率：事象 ai が起こりかつ
事象 bj が起こる確率。
２つの事象が同時に起こる確率。
条件付き確率：事象 ai
が起こったとしたときに事
象 bj が起こる確率。
結合確率による確率の計算
(2) P(bj ) =
å
P( ai ,bj )
i
結合確率を片方の事象系において総和をとる。
（１）、（２）より成り立つ。
QED 17
通信路での確率の関係２（ベーズの定理）
ベーズの定理
" i, j,1 £ i £ n,1 £ j £ m,
P( bj | ai )P( ai )
P( ai |bj ) = n
å P( bj | ak )P( ak )
k= 1
条件付き確
率の条件と
発生事象を
交換する公
式。（一般の
確率論で成
立する。）
通信路を通して記号 bj が受信されたとき、
送信側で記号 ai を送っている確率が計算で
きることを表す式。通信路の性質と送信アルファ
ベットの発生確率は既知であることに注意する。
18
証明
結合確率の式
P( ai ,bj ) = P(bj | ai )P( ai ) = P( ai |bj )P(bj )
P( ai ,bj ) P(bj | ai )P( ai )
\ P( ai |bj ) =
=
P(bj )
P(bj )
全確率の式を適用する。
\ P( ai |bj )
=
P( ai ,bj )
n
å
k= 1
P( bj | ak )P( ak )
=
P( b j | ai )P( ai )
n
å
k= 1
P( b j | ak )P( ak )
QED
19
通信路行列と確率
送信情報源の生成記号確率分布 PA = ( P( a1 ),L ,P( an )) と
受信情報源の受信記号確率分布 PB = ( P(b1 ),L ,P(bm )) の関係
は、通信路行 T を用いて次式で表される。
PB = PAT
ét11 L t1m ù
ê
ú
( P( b1 ),L ,P( bm )) = ( P( a1 ),L ,P( an )) êêM O Mú
ú
êtn1 L tnm ú
ë
û
情報理論では、行ベクトル（横ベクトル）が確率ベク
トルになるように扱うことが多い。
20
別表現
転地を行うと、左右が反転す
ることに注意
t
t
t
PB = T PA
éP( b1 ) ù ét11 L tn1 ùéP( a1 )ù
ê
ú ê
úê
ú
ê M ú= ê M O Múê M ú
ê
ú ê
úê
ú
êP( bm )ú êt1m L tnm úêP( an )ú
ë
û ë
ûë
û
線形代数等では、列ベクトルを多く扱う。
これらを混同せずに扱う必要がある。
21
通信路で送信される情報量
（相互情報量）
ìïï a1
, L
A= í
ïîï P( a1 ) , L
ìïï b1
, L
B= í
ïîï P( b1 ) , L
ü
, an
ïï
ý
, P( an )ïïþ
ü
, bm
ïï
ý
, P( bm )ïïþ
T
通信路
H( A)
通信路を通さずに直に
情報源Aに関する情報
を得られる場合。
H( A| B )
通信路を通して、間接
的に情報源Aに関する
情報を得る場合。
22
通信路で伝送
される情報量 ＝
送信情報源の
情報量
I( A;B )
H( A)
－
受信情報を条件と
する送信情報源
の情報量
H( A| B )
伝送される情報量は、
相互情報量として求め
られる。
23
様々なエントロピー（復習）
H (B )
エントロピー
H (A)
H (B | A)
条件付
きエン
トロ
ピー
H (A | B )
結合エントロピー
H (A, B )
条件付
きエン
トロ
ピー
相互情報量
I (A; B )
24
H (A) = -
å
P (a ) logP (a )
å
P (b )H (A | b )
H (B ) = -
å P (a )H (B | a )
= - å P (a )å P (b | a ) log P (b | a )
H (B | A ) =
bÎ B
=-
å
bÎ B
=-
å
P (b ) logP (b )
bÎ B
aÎ A
H (A | B ) =
å
aÎ A
P (b )å P (a | b ) log P (a | b )
aÎ A
aÎ A
P (a , b ) log P (a | b )
=-
a Î A ,b Î B
å
bÎ B
P (a , b ) log P (b | a )
a Î A ,b Î B
H (A, B ) = -
å
P (a , b ) logP (a , b )
a Î A ,b Î B
= H (A ) + H (B ) - I (A; B )
I (A; B ) = H (A ) - H (A | B )
= H (B ) - H (B | A )
= H (A ) + H (B ) - H (A, B )
25
相互情報量の様々な計算式（公式）
I (A; B ) = H (A ) - H (A | B )
æ
= - å P (a ) log P (a ) - ççççè
aÎ A
=-
å å
a Î A bÎ B
ö
÷
åb Î B åa Î A P (a , b ) log P (a | b )ø÷÷÷
P (a , b ) log P (a ) +
å å
P (a , b ) log P (a | b )
a Î A bÎ B
P (a | b )
= å å P (a , b ) log
P (a )
a Î A bÎ B
P (a , b )
= å å P (a , b ) log
P (a )P (b )
a Î A bÎ B
P (a , b )
= å P (a , b ) log
P (a )P (b )
a Î A ,b Î B
26
例１
é3 / 4 1 / 4 ù
ú の通信路で
通信路行列 T = ê
êë1 / 4 3 / 4ú
û
ìïï 0 , 1 ü
ïï
情報源 A = íï 1 / 2 , 1 / 2ý
を伝送するとき、
ï
ï
îï
þ
ìï 0
ïï
,
1 ü
ï
受信される情報源 B = í
ý および、
ïïî P( 0 ) , P( 1 )ïïþ
伝送される情報量（相互情報量） I( A;B )
P( 0 ) = 1 / 2
0
P(1) = 1 / 2
1
3/ 4
1/ 4
1/ 4
3/ 4
を求めよ。
0
1
２元対称
通信路
27
（計算例）
まず、受信記号 B = {0 , 1}の生成確率 P( 0 ),P( 1 )
を求める。
PB = PAT
\ ( P( 0 ),P( 1 )) = ( P( 0 ),P( 1 ))T
é3 / 4 1 / 4 ù
ú= ( 1 / 2,1 / 2 )
\ ( P( 0 ),P( 1 )) = ( 1 / 2,1 / 2 ) ê
êë1 / 4 3 / 4ú
û
次に、結合確率を求める。
3 1 3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = ´ =
4 2 8
1 1 1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = ´ =
4 2 8
1 1 1
P(1, 0 ) = P( 0 |1)P(1) = ´ =
4 2 8
3 1 3
P(1, 1 ) = P( 1 |1)P(1) = ´ =
4 2 8
0を送信
１を送信
28
以上より、相互情報量を求める。
P( a ,b )
I( A;B ) = å P( a ,b )log
P( a )P( b )
a Î A,bÎ B
P( 0, 0 )
P( 0, 1 )
= P( 0, 0 )log
+ P( 0, 1 )log
+
P( 0 )P( 0 )
P( 0 )P( 1 )
P( 1, 0 )
P( 1, 1 )
P( 1, 0 )log
+ P( 1, 1 )log
P( 1 )P( 0 )
P( 1 )P( 1 )
3
3 1
1 1
1 3
3
= log + log + log + log
8
2 8
2 8
2 8
2
3
= log 3- 1 ; 0.189 [bit / 記号]
4
29
練習
é3 / 4 1 / 4 ù
ú の通信路で
通信路行列 T = ê
êë1 / 4 3 / 4ú
û
ìïï 0 , 1 ü
ïï
情報源 A = í
ý を伝送するとき、
ïîï 1 / 3 , 2 / 3ïþ
ï
ìï 0
ïï
,
1 ü
ï
受信される情報源 B = í
ý および、
ïïî P( 0 ) , P( 1 )ïïþ
伝送される情報量（相互情報量） I( A;B )
P( 0 ) = 1 / 3
0
P(1 ) = 2 / 3
1
3/ 4
1/ 4
1/ 4
3/ 4
を求めよ。
0
1
２元対称
通信路
30
通信路容量（重要）
（定義）：通信路容量
通信路 T に対して、次式で表される
値を通信路容量という。
C = max I( A;B )
A
ここで, max は送信情報源の確率的
な組み合わせ全ての中で最大値を選
ぶ。
相互情報量は、情
報源Aと情報源B
の組み合わせで定
まる。
また、受信情報源
Bは送信情報源A
と通信路Tで定まる。
一番多く情報を伝
達できるよう送信
側の確率を定めて
送信する。
通信路の”太さ”を表す式。情報を伝送してみて
最大の情報量で定義する。
31
イメージ
情報
通信路
物理的でないので、直接”太
さ”を測ることができない。
水
水路
伝送されるもので、間接的に
に”太さ”は測ることができる。
32
例
é3 / 4 1 / 4 ù
ú の通信路の通信路容量
通信路行列 T = ê
êë1 / 4 3 / 4ú
û
求めよ。（誤り確率
p = 1/ 4
を
の２元対称通信路）
（解答例）
ìïï 0 ,
1 ü
ïï
ý とし、
送信情報源を A = í
ïîï pA , 1- pA ïþ
ï
ìïï 0 ,
ïï
1 ü
ý とする。
受信情報源を B = í
ïîï pB , 1- pB ïþ
ï
また、
CT
PA = ( pA ,1- pA ), PB = ( pB ,1- pB )
誤り確率と
記号発生
確率、
記号受信
確率を混
同しないこ
と。
とする。
33
まず、受信記号の生起確率を求める。
PB = PAT
é3 / 4 1 / 4 ù
ú
\ ( pB ,1- pB ) = ( pA ,1- pA ) ê
êë1 / 4 3 / 4ú
û
1 pA 3 pA
\ ( pB ,1- pB ) = ( +
, )
4 2 4 2
1 pA 1 + 2 pA
\ pB = +
=
0を送信という条件で、
4 2
4
0 を受信する確率
次に、結合確率を求める。
0 を送信して、しかも
0 が受信される確率
3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = pA
4
1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = pA
4
0を送信す
る確率
34
1
P(1, 0 ) = P( 0 |1)P(1) = (1- pA )
4
3
P(1, 1 ) = P( 1 | 0 )P(1) = (1- pA )
4
１を送信
条件付きエントロピー H( B| A) を求める。
H( B| A) = -
å
P( a ,b )log P( b | a )
a Î A,bÎ B
3
4 1
1
3
4
= pA log + pA log 4 + ( 1- pA )log 4 + ( 1- pA )log
4
3 4
4
4
3
1
3
4
= log 4 + log
通信路の誤り確率だけで定まる。
4
4
3
1
H ( p ) は２元のエントロピー関数
=H ( )
4
H ( p ) = - plog p - (1- p )log( 1- p )
= H ( p)
35
従って、相互情報量 I( A;B ) は次式で求められる。
I( A;B ) = H( B ) - H( B| A)
= H ( pB ) - H ( p )
1 1
1
= H ( + pA ) - H ( )
4 2
4
よって、通信路容量 C は以下のように求められる。
CT = max I( A;B )
A
T
ここで、最大値は
1 pA 1
ìï
1 pA
1 ü
ï
+
=
= max í H ( +
) - H ( )ý
4 2 2
pA Î [ 0 ,1 ] ï
ï
4
2
4
ï
îï
þ
1
\ pA =
ìï
1 pA ü
1
ï
2
= max í H ( +
)ý- H ( ) のときに実現される。また、こ
pA Î [ 0 ,1 ] ï
4 2 ïþ
4
ï
îï
のときの pB は以下である。
1
3
4
= 1- ( log 4 + log ) ; 0.189
1 pA 1
pB = + =
4
4
3
36
4 2 2
練習
é2 / 3 1 / 3 ù
ú の通信路の通信路容量
通信路行列 T = ê
êë1 / 3 2 / 3ú
û
CT
を
求めよ。
37
２元対称通信路の通信路容量
２元対称通信路の通信路容量
誤り確率 p の２元対称通信路の通信路容量
は次式で求められる。
C
C = 1- H ( p )
通信路容量が達成されるとき、送信、受信の各確率は
以下で表される。
対称性より、送信を
均等に行うと、受信
PA = ( P( 0 ),P(1)) = (1 / 2,1 / 2)
も均等になる。
PB = ( P( 0 ),P( 1 )) = (1 / 2,1 / 2) （式で計算して確か
めると良い。）
38
証明
通信路行列は、次式のようになる。
é1- p
p ù
ú
Tp = ê
êë p 1- pú
û
例題と同様にして以下のように求められる。
é1- p p ù
ú
( pB ,1- pB ) = ( pA ,1- pA ) ê
êë p 1- púû
\ pB = pA + p - 2 pA p
CT = max I( A;B )
A
= max {H ( pB ) - H ( p )}
pA Î [ 0 ,1 ]
Q ( pA = 1 / 2
® pB = 1 / 2
® H ( pB ) = 1 )
= max {H ( pB )}- H ( p )
pA Î [ 0 ,1 ]
= 1- H ( p )
QED
39
２元対称通信路の通信路容量（概形）
40
２元対称消失通信路の通信路容量
送信情報源
0
1- px - pe
p
x
p
e
A = {0,1}
pe
0
X
1
受信情報源
px
B = {0,X ,1}
1- px - pe
px :消失確率
pe :誤り 確率
1
é1- px - pe
TX = ê
êëpe
CTX
ù
px pe
ú
px 1- px - pe ú
û

 (1  px ) 1 H

 pe

 1  px



誤り確率と
消失確率の
関数。
（導出は省
略。）
41
２元対称消失通信路の通信路容量
px = 1
だと情報が全て
消失。容量は０。
px = 0
だと２
元対称通信路と
同じ。
42
雑音のない通信路
（定義）雑音の無い通信路
受信記号から送信記号が一意に確定できるような
通信路を雑音の無い通信路という。
雑音の無い通信路の通信路行列
é1 / 3 2 / 3 0
0
0
0
0 ù
ê
ú
T = êê 0
0 1/ 4 3 / 4 0
0
0 ú
ú
ê0
ú
0
0
0
1
/
5
1
/
5
3
/
5
ë
û
列ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
43
雑音の無い通信路の通信路線図
a1
a2
b1
b2
1/ 3
2/ 3
1/ 4
3/ 4
a3
1/ 5
3/ 5
1/ 5
b3
b4
b5
b6
b7
雑音がないの
で、受信記号
から送信記号
を特定できる。
44
雑音のない通信路の通信路容量
雑音の無い通信路では、受信記号を条件とする条件付き確率が
必ず１または０となる。すなわち、
" a Î A,bÎ B P( a | b ) = 1 or 0
\ "bÎ B H( A| b ) = ­
\ H( A| B ) =
よって、
å
å
P(a | b )log P( a | b ) = 0
aÎ A
P( b )H( A| b ) = 0
bÎ A
I( A;B ) = H( A)- H( A| B ) = H( A)
したがって、
C = max I( A;B ) = max H( A) = log n
A
ただし、
A
P( a1 ) = P( a2 ) = L = P( an )
45
雑音の無い通信路の通信路容量例
P( a1 ) = 1 / 3
P( a2 ) = 1 / 3
a1
a2
b1
b2
b3
b4
1/ 3
2/ 3
1/ 4
3/ 4
P( a3 ) = 1 / 3
a3
1/ 5
1/ 5
3/ 5
log 3 [bit/送信記号]
b5
b6
b7
46
練習
送信アルファベット
受信アルファベット
通信路行列
A = {a1 ,a2 }
B = {b1 ,b2 ,b3 ,b4 ,b5 }
é2 3
ù
ê
0 0 0ú
ê5 5
ú
T= ê
ú
2 3 4ú
ê
ê0 0
ú
êë
9 9 9ú
û
で表わされる（雑音の無い）通信路の通信路容量 CT と、
CT を実現する際の送信情報源、および受信情報源を定めよ。
47
確定的通信路
（定義）確定的通信路
各送信記号が唯一つの受信記号に伝送されるような
通信路を確定的通信路という。
確定的通信路の通信路行列
é1
ê
ê0
ê
ê0
ê
T = êê0
ê0
ê
ê0
ê
ê
êë0
0
1
1
0
0
0
0
0
0
0
1
1
1
0
0ù
ú
0ú
ú
0ú
ú
0ú
ú
0ú
ú
ú
0ú
ú
1ú
û
行ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
48
確定的通信路の通信路線図
送信先の受信
記号が１つに確
定されるので確
定的通信路
a1
1
a2
a3
a4
a5
a6
a7
1
b1
b2
1
1
1
1
b3
1
b4
49
確定的通信路の通信路容量
順序に注意
確定的通信路では、送信記号を条件とする条件
付き確率が必ず１または０となる。すなわち、
" a Î A,bÎ B P( b | a ) = 1 or 0
\ " a Î A H( B| a ) = ­
\ H( B| A) =
よって、
å
å
P( b | a )log P( b | a ) = 0
bÎ B
P(a )H( B| a ) = 0
aÎ A
I( A;B ) = H( B )- H( B| A) = H( B )
したがって、
C = max I( A;B ) = max H( B ) = log m
A
ただし、
A
P(b1 ) = P(b2 ) = L = P(bm )
受信側の確率
が均等になるよ
うに、送信記号
の確率選べる。
50
確定的通信路の通信容量例
a1
a2
P(a )= 1 / 8 a
3
P(a )= 1 / 12 a4
P(a )= 1 / 12 a5
P(a )= 1 / 12 a
6
P(a )= 1 / 4 a7
1
P(a1 )= 1 / 4
P(a2 )= 1 / 8
1
3
1
4
5
b1
P(b1 )= 1 / 4
b2
P(b2 )= 1 / 4
1
1
1
b3
P(b3 )= 1 / 4
6
7
1
b4
P(b4 )= 1 / 4
log 4 [bit/送信記号]
51
通信路容量を満足する送信情報源例２
1
P
b
=
1
/
4
P(a1 )= 1 / 4 a1
(
)
1
b1
1
P(a2 )= 1 / 12 a2
b2 P(b2 )= 1 / 4
P(a3 )= 2 / 12 a
3
1
a4
P(a )= 2 / 24 a5
P(a )= 3 / 24 a
6
P(a )= 1 / 4 a7
P(a4 )= 1 / 24
5
1
1
1
b3
P(b3 )= 1 / 4
6
7
1
b4
P(b4 )= 1 / 4
log 4 [bit/送信記号]
52
練習
送信アルファベット
受信アルファベット
通信路行列
A = {a1 ,a2 ,a3 ,a4 ,a5 }
B = {b1 ,b2 ,b3 }
é1
ê
ê1
ê
T = êê0
ê0
ê
ê0
êë
0
0
1
0
0
0ù
ú
0úú
0úú
1 úú
1 úúû
で表わされる（確定的）通信路の通信路容量 CT と、
CT を実現する際の送信情報源、および受信情報源を定めよ。
53