Transcript 通信路容量

通信路（７章）
1
通信路のモデル
情報
送信者
ìïï a1
, L
A= í
ïîï P( a1 ) , L
通信路
ü
ïï
ý
, P( an )ïþ
ï
, an
受信者
ìïï b1
, L
B= í
ïîï P( b1 ) , L
ü
ïï
ý
, P( bm )ïþ
ï
, bm
外乱（雑音）
送信情報源
（送信アルファベットと
生成確率）
受信情報源
（受信アルファベッと
受信確率）
m ¹ n でもよい。
2
イメージ
外乱（雑音）により
記号 a i を送信したら、
記号 bj が受信される。
記号の種類や数は異なっていて
もかまわない。
ai
ai を送信する。
bj
通信路
外乱（雑音）
bj
を受信する。
3
通信路は、送信記号 ai を送った
時、受信記号 bj が受信される確
率 P( ai ® bj ) でモデル化される。す
べての組み合わせの確率で一つの
通信路が定義される。
P( a1 )
P( a2 )
M
P( an )
a1
a2
M
an
bj
ai
P (ai ® b j )
b1 P( b1 )
b2 P( b2 )
M M
bm P( bm )
= P (b j | ai )
条件付き確率
ある生成確率で、
送信記号が送信される。 （順序に注意）
ある受信確率で、
受信記号が受信され
る。
4
通信路線図
" i,1 £ i £ n,
m
å
p( ai ® b j ) = 1
雑音により、記号が変化する。
j= 1
a1
A
P( a1 ® b1 )
b1
a2
b2
a3
b3
P( a2 ® b3 )
B
P( a1 ® bm )
bm- 1
an
送信アルファベット
（ n 個の送信記号
の集合）
P( an ® bm )
bm
受信アルファベット
（ m 個の受信記号
の集合）
5
通信路行列
送
信
ア
ル
フ
ァ
ベ
ッ
ト
b1 L
a1 é t11 L
ê
M êê M
T = ai êê®
®
bj L
bm
t1m ù
ú
­
Mú
ú
ú
tij
ú
êM
ú
M
M ê
ú
êt
ú
L
L
t
nm ú
û
an êë n1
éP( a1 ® b1 ) L P( a1 ® b j ) L
ê
ê
M
O
M
ê
= êêP( ai ® b1 ) L P( ai ® b j ) L
ê
M
M
ê
êP( a ® b ) L P( a ® b ) L
1
n
j
êë n
­
L
受信アルファベット
" i,1 £ i £ n,
m
å
tij = 1
j= 1
行で和をとると１。
（確率ベクトル）
P( a1 ® bm )ù
ú
M ú
ú
P( ai ® bm )úú
M úú
P( an ® bm )úúû
6
通信路行列(条件付き確率）
éP (b | a )
ê 1 1
ê
ê M
ê
T = êP (b1 | ai )
ê
ê M
ê
ê
êP (b1 | an )
ë
å
L
O
L
P (b j | a1 ) L
M
P (b j | ai ) L
M
L
O
P (b j | an ) L
P (bm | a1 )ù
ú
ú
M ú
ú
P (bm | ai )ú
ú
M ú
ú
ú
P (bm | an )ú
û
P (b | a = a)= 1
正方行列
とは限らな
い。
（行数と列
数が違っ
ていても
良い。）
b
条件付き確率の性質。
ある条件を固定したとき、確率の総和は１．
7
通信路行列の意味
1 £ i £ n,1 £ j £ m
tij = P( b j | ai ) = P( ai ® b j )
通信路行
列の要素
ai を送くる条件の下
で、
bj
通信路行列の関係式
が受信される確率
ìï " i, j,1 £ i £ n,1 £ j £ m 0 £ tij £ 1
ïï
ïí
m
ïï " i,1 £ i £ n
tij = 1
å
ïïî
j= 1
ai を送信したら、
bj が受信される確率
確率の式。
（行ベクトルが
確率ベクトル）
8
通信路例１（２元対称通信路）
1- p
p
0
p:誤り 確率
0
p
A = {0,1}
1
B = {0,1}
1- p
é1- p
p ù
ú
TS = ê
êë p 1- pú
û
1
応用上重要。
誤り確率により、対
称的に送信記号が
変化する。
9
具体的な２元対称通信路
誤り 確率p = 0.2
0
A = {0,1}
1
0 .8
0 .2
0 .2
0
B = {0,1}
1
0 .8
é0.8 0.2ù
ú
TS = ê
êë0.2 0.8ú
û
通信路行列は、
対称行列になる。
10
通信路例２（２元対称消失通信路）
1- px - pe
0
A = {0,1}
1
px
pe
pe
px
px
px
X
Xは消失を意
味する記号。
1
1- px - pe
é1- px - pe
TX = ê
êpe
ë
0
pe :誤り 確率
px :消失確率
B = {0, X ,1}
ù
ú
1- px - pe ú
û
pe
応用上重要。
送信記号の
消失と誤りの
両方が起こ
る。
11
具体的な２元対称消失通信路
誤り 確率pe = 0.1
0
A = {0,1}
1
消失確率px = 0.3
0 .6
0
0 .3
B = {0, X ,1}
0 .1
X
0 .1
0 .3
0 .6
é0.6 0.3 0.1ù
ú
TX = ê
êë0.1 0.3 0.6ú
û
1
（数学的な対称行
列ではないが）
ある種の対称性が
存在する。
12
練習
次の通信路線図で表されている通信路の、
通信路行列を求めよ。
（１）
1- px
0
0
px
qx
X
1
（２）
1- p
p p
1- p
a
b
c
1
d
b
c
d
p
p
1- q x
a
1- p
1- p
13
練習２
次の通信路行列で表されていいる通信路の通信
路線図を示せ。
（１）
送信情報源
A = {a,b,c}
受信情報源
B = {a,b ,c }
（２） 送信情報源
受信情報源
é1ê
ê
T2 = ê
ê
ê
ê
ë
é0.7 0.2 0.1ù
ê
ú
T1 = ê0.2 0.6 0.2ú
ê
ú
ê0.1 0.2 0.7ú
ë
û
A = {a,b,c,d }
B = {a ,b ,c ,d }
p- q
p
10
q
p
p- q
p
10
0
q
p- q
p
1-
q ù
ú
0 ú
ú
q ú
ú
p - qú
û
14
通信路での確率の関係１
（全確率の公式）
通信路を通して受信される
" j,1 £ j £ m,
記号の受信確率は、送信記
号の生成確率と通信路の確
率的振る舞いで定まる。
n
P( b j ) =
å
P( b j | ai )P( ai )
i= 1
n
=
å
P( ai )P( ai ® b j )
i= 1
n
=
å
pi tij
i= 1
15
証明
A
a1
P( a1 )
1
B
P( a1 ® bi )
b1
a2
ai
P( ai ® bi )
P( ai )
P( ai )
an
P( an ® bi )
bj
P( bj )
bm
bi が受信される全ての可能性（径路）
図より、成立する。
を考えて総和をとる。
QED
16
別証明
結合確率と条件付き確率の関係式。
(1) P( ai ,bj ) = P( bj | ai )P( ai )
結合確率：事象 ai が起こりかつ
事象 bj が起こる確率。
２つの事象が同時に起こる確率。
条件付き確率：事象 ai
が起こったとしたときに事
象 bj が起こる確率。
結合確率による確率の計算
(2) P( b j ) =
å
P( ai ,b j )
i
結合確率を片方の事象系において総和をとる。
（１）、（２）より成り立つ。
QED 17
通信路での確率の関係２（ベーズの定理）
ベーズの定理
" i, j,1 £ i £ n,1 £ j £ m,
P( ai | b j ) =
P( b j | ai )P( ai )
n
å
P( b j | ak )P( ak )
k= 1
条件付き確
率の条件と
発生事象を
交換する公
式。（一般の
確率論で成
立する。）
通信路を通して記号 bj が受信されたとき、
送信側で記号 ai を送っている確率が計算で
きることを表す式。通信路の性質と送信アルファ
ベットの発生確率は既知であることに注意する。
18
証明
結合確率の式
P( ai ,bj ) = P( bj | ai )P( ai ) = P( ai |b j )P( b j )
\ P( ai | b j ) =
P( ai ,b j )
P( b j )
P( b j | ai )P( ai )
=
P( b j )
全確率の式を適用する。
\ P( ai | b j )
=
P( ai ,b j )
n
å
k= 1
P( b j | ak )P( ak )
=
P( b j | ai )P( ai )
n
å
k= 1
P( b j | ak )P( ak )
QED
19
通信路行列と確率
送信情報源の生成記号確率分布 PA = ( P( a1 ),L ,P( an )) と
受信情報源の受信記号確率分布 PB = ( P( b1 ),L ,P( bm )) の関係
は、通信路行 T を用いて次式で表される。
PB = PAT
ét11 L
ê
( P( b1 ),L ,P( bm )) = ( P( a1 ),L ,P( an )) ê M O
ê
êt
ë n1 L
t1m ù
ú
Mú
ú
tnm ú
û
情報理論では、行ベクトル（横ベクトル）が確率ベク
トルになるように扱うことが多い。
20
別表現
転地を行うと、左右が反転す
ることに注意
t
t
t
PB = T PA
éP( b1 ) ù
ê
ú
ê M ú=
ê
ú
êP( b )ú
ë m û
ét11 L
ê
êM O
ê
êt
L
1
m
ë
tn1 ùéP( a1 ) ù
úê
ú
Múê M ú
úê
ú
ú
tnm úê
P(
a
)
ûë n û
線形代数等では、列ベクトルを多く扱う。
これらを混同せずに扱う必要がある。
21
通信路で送信される情報量
（相互情報量）
, L
ïì a
A = ïí 1
ïïî P( a1 ) , L
ìïï b1
, L
B= í
ïîï P( b1 ) , L
ïü
ïý
, P( an )ïïþ
, an
ü
ïï
ý
, P( bm )ïþ
ï
, bm
T
通信路
H( A )
通信路を通さずに直に
情報源Aに関する情報
を得られる場合。
H( A| B )
通信路を通して、間接
的に情報源Aに関する
情報を得る場合。
22
通信路で伝送
される情報量 ＝
送信情報源の
情報量
I( A; B )
H( A )
－
受信情報を条件と
する送信情報源
の情報量
H( A| B )
伝送される情報量は、
相互情報量として求め
られる。
23
様々なエントロピー（復習）
H (B )
エントロピー
H (A )
H (B | A )
条件付
きエン
トロ
ピー
H (A | B )
条件付
きエン
トロ
ピー
結合エントロピー
H (A, B )
相互情報量
I (A; B )
24
H (A ) = -
å
P (a ) logP (a )
å
P ( b )H (A | b )
H (B ) = -
H (B | A ) =
bÎ B
= -
å
bÎ B
= -
å
P (b ) logP (b )
bÎ B
aÎ A
H (A | B ) =
å
å
P (a )H (B | a )
aÎ A
P ( b )å P (a | b ) log P (a | b )
= -
aÎ A
å
aÎ A
P (a , b ) log P (a | b )
= -
a Î A ,b Î B
å
P (a )å P ( b | a ) log P ( b | a )
bÎ B
P (a , b ) log P ( b | a )
a Î A ,b Î B
H (A, B ) = -
å
P (a , b ) logP (a , b )
a Î A ,b Î B
= H (A ) + H (B ) - I (A; B )
I (A ; B ) = H ( A ) - H (A | B )
= H (B ) - H (B | A )
= H (A ) + H (B ) - H (A , B )
25
相互情報量の様々な計算式（公式）
I (A ; B ) = H (A ) - H (A | B )
= -
å
aÎ A
= -
æ
P (a ) log P (a ) - ççççè
å å
ö
÷
åb Î B åa Î A P (a , b ) log P (a | b )÷÷÷ø
P (a , b ) log P (a ) +
aÎ A bÎ B
å å
P ( a , b ) log P ( a | b )
aÎ A bÎ B
P (a | b )
= å å P (a , b ) log
P (a )
aÎ A bÎ B
P (a , b )
= å å P (a , b ) log
P (a )P ( b )
aÎ A bÎ B
P (a , b )
= å P (a , b ) log
P (a )P ( b )
a Î A ,b Î B
26
例１
é3 / 4 1 / 4 ù
ú の通信路で
通信路行列 T = êê
ë1 / 4 3 / 4ú
û
ìïï 0 , 1 ü
ïï
情報源 A = íï 1 / 2 , 1 / 2ý
を伝送するとき、
ï
ïî
ïþ
ìï 0
ïï
,
1 ü
ï
受信される情報源 B = í
ý および、
ïï P( 0 ) , P( 1 )ïï
î
þ
伝送される情報量（相互情報量） I( A; B )
P( 0 ) = 1 / 2
0
P( 1 ) = 1 / 2
1
3/ 4
1/ 4
1/ 4
3/ 4
を求めよ。
0
1
２元対称
通信路
27
（計算例）
まず、受信記号 B = {0 , 1 }の生成確率 P( 0 ),P( 1 )
を求める。
PB = PAT
\ ( P( 0 ),P( 1 )) = ( P( 0 ),P( 1 ))T
é3 / 4 1 / 4 ù
ú= ( 1 / 2,1 / 2 )
\ ( P( 0 ),P( 1 )) = ( 1 / 2,1 / 2 ) ê
êë1 / 4 3 / 4ú
û
次に、結合確率を求める。
3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = ´
4
1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = ´
4
1 3
=
2 8
1 1
=
2 8
1 1 1
P( 1, 0 ) = P( 0 | 1 )P( 1 ) = ´ =
4 2 8
3 1 3
P( 1, 1 ) = P( 1 | 1 )P( 1 ) = ´ =
4 2 8
0を送信
１を送信
28
以上より、相互情報量を求める。
P( a ,b )
I( A; B ) = å P( a , b )log
P( a )P( b )
a Î A,bÎ B
P( 0, 0 )
P( 0, 1 )
= P( 0, 0 )log
+ P( 0, 1 )log
+
P( 0 )P( 0 )
P( 0 )P( 1 )
P( 1, 0 )
P( 1, 1 )
P( 1, 0 )log
+ P( 1, 1 )log
P( 1 )P( 0 )
P( 1 )P( 1 )
3
3 1
1 1
1 3
3
= log + log + log + log
8
2 8
2 8
2 8
2
3
= log 3 - 1 ; 0.189 [bit / 記号 ]
4
29
練習
é3 / 4 1 / 4 ù
ú の通信路で
通信路行列 T = êê
ë1 / 4 3 / 4ú
û
ìïï 0 , 1 ü
ïï
情報源 A = í
ý を伝送するとき、
ïîï 1 / 3 , 2 / 3ïþ
ï
ìï 0
ïï
,
1 ü
ï
受信される情報源 B = í
ý および、
ïï P( 0 ) , P( 1 )ïï
î
þ
伝送される情報量（相互情報量） I( A; B )
P( 0 ) = 1 / 3
0
P( 1 ) = 2 / 3
1
3/ 4
1/ 4
1/ 4
3/ 4
を求めよ。
0
1
２元対称
通信路
30
通信路容量（重要）
（定義）：通信路容量
通信路 T に対して、次式で表される
値を通信路容量という。
C = max I( A; B )
A
ここで, max は送信情報源の確率的
な組み合わせ全ての中で最大値を選
ぶ。
相互情報量は、情
報源Aと情報源B
の組み合わせで定
まる。
また、受信情報源
Bは送信情報源A
と通信路Tで定ま
る。
一番多く情報を伝
達できるよう送信
側の確率を定めて
送信する。
通信路の”太さ”を表す式。情報を伝送してみて
最大の情報量で定義する。
31
イメージ
情報
通信路
物理的でないので、直接”太
さ”を測ることができない。
水
水路
伝送されるもので、間接的に
に”太さ”は測ることができる。
32
例
é3 / 4 1 / 4 ù
ú の通信路の通信路容量
通信路行列 T = êê
ú
1
/
4
3
/
4
ë
û
求めよ。（誤り確率
p = 1/ 4
を
の２元対称通信路）
（解答例）
ìïï 0
送信情報源を A = íï
îï p A
,
1 ü
ïï
ý とし、
, 1- p A ïþ
ï
ìï 0
ïí
B
=
受信情報源を
ïïî pB
ïï
,
1 ü
ý とする。
, 1- pB ïïþ
また、
CT
PA = ( pA ,1- pA ), PB = ( pB ,1- pB )
誤り確率と
記号発生
確率、
記号受信
確率を混
同しないこ
と。
とする。
33
まず、受信記号の生起確率を求める。
PB = PAT
é3 / 4 1 / 4 ù
ú
\ ( pB ,1- pB ) = ( p A ,1- p A ) ê
êë1 / 4 3 / 4ú
û
1 pA 3 pA
\ ( pB ,1- pB ) = ( +
, )
4
2 4 2
1 pA 1+ 2 pA
\ pB = +
=
0を送信という条件
4
2
4
次に、結合確率を求める。
0 を送信して、しかも
0 が受信される確率
で、
0
を受信する確率
3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = p A
4
1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = p A
4
0を送信す
る確率
34
1
P( 1, 0 ) = P( 0 | 1 )P( 1 ) = ( 1- p A )
4
3
P( 1, 1 ) = P( 1 | 0 )P( 1 ) = ( 1- p A )
4
１を送信
条件付きエントロピー H( B | A ) を求める。
H( B | A ) = -
å
P( a , b )log P( b | a )
a Î A,bÎ B
3
4 1
1
3
4
= p A log + p A log 4 + ( 1- p A )log 4 + ( 1- p A )log
4
3 4
4
4
3
1
3
4
= log 4 + log
通信路の誤り確率だけで定まる。
4
4
3
1
H ( p ) は２元のエントロピー関数
=H ( )
4
H ( p ) = - p log p - ( 1- p )log( 1- p )
= H ( p)
35
従って、相互情報量 I( A; B ) は次式で求められる。
I( A; B ) = H( B ) - H( B | A )
= H ( pB ) - H ( p )
1 1
1
= H ( + pA ) - H ( )
4 2
4
よって、通信路容量
CT = max I( A; B )
CT
は以下のように求められる。
ここで、最大値は
A
ìï
1 pA
= max í H ( +
p A Î [ 0 ,1 ] ï
4
2
îï
ìï
1 pA
= max í H ( +
p A Î [ 0 ,1 ] ï
4
2
îï
1 üï
) - H ( )ý
4 ïþï
üï
1
)ý - H ( )
ïþï
4
1
3
4
= 1- ( log 4 + log ) ; 0.189
4
4
3
1 pA 1
+
=
4
2
2
1
\ pA =
2
のときに実現される。また、こ
のときの pB は以下である。
1 pA 1
pB = + =
4 2 2
36
練習
é2 / 3 1 / 3 ù
ú の通信路の通信路容量
通信路行列 T = êê
ú
1
/
3
2
/
3
ë
û
CT
を
求めよ。
37
２元対称通信路の通信路容量
２元対称通信路の通信路容量
誤り確率 p の２元対称通信路の通信路容量
は次式で求められる。
C
C = 1- H ( p )
通信路容量が達成されるとき、送信、受信の各確率は
以下で表される。
対称性より、送信を
均等に行うと、受信
PA = ( P( 0 ),P( 1)) = (1 / 2,1 / 2)
も均等になる。
（式で計算して確か
PB = ( P( 0 ),P( 1 )) = (1 / 2,1 / 2)
めると良い。）
38
証明
通信路行列は、次式のようになる。
é1- p
p ù
ú
Tp = ê
êë p 1- pú
û
例題と同様にして以下のように求められる。
é1- p
p ù
ú
( pB ,1- pB ) = ( p A ,1- p A ) ê
êë p 1- p úû
\ pB = p A + p - 2 p A p
Q ( pA = 1 / 2
CT = max I( A; B )
® pB = 1 / 2
= max {H ( pB ) - H ( p )}
® H ( pB ) = 1 )
A
p A Î [ 0 ,1 ]
= max {H ( pB )}- H ( p )
p A Î [ 0 ,1 ]
= 1- H ( p )
QED
39
２元対称通信路の通信路容量（概形）
40
２元対称消失通信路の通信路容量
送信情報源
0
A = {0,1}
1- px - pe
px
pe
0
X
1
pe
受信情報源
px
B = {0, X ,1}
1- px - pe
px :消失確率
pe :誤り 確率
1
é1- px - pe
TX = ê
êpe
ë
CTX
px
px
ù
ú
1- px - pe ú
û
pe

 pe
 (1  px ) 1 H 

 1  px


 
誤り確率と
消失確率の
関数。
（導出は省
略。）
41
２元対称消失通信路の通信路容量
px = 1
だと情報が全て
消失。容量は０。
px = 0
だと２
元対称通信路と
同じ。
42
雑音のない通信路
（定義）雑音の無い通信路
受信記号から送信記号が一意に確定できるような
通信路を雑音の無い通信路という。
雑音の無い通信路の通信路行列
é1 / 3 2 / 3 0
0
0
0
0 ù
ê
ú
T= ê0
0 1/ 4 3 / 4 0
0
0 ú
ê
ú
ê0
ú
0
0
0
1
/
5
1
/
5
3
/
5
ë
û
列ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
43
雑音の無い通信路の通信路線図
a1
a2
b1
b2
1/ 3
2/3
b3
b4
1/ 4
3/ 4
a3
1/ 5
3/ 5
1/ 5
b5
b6
b7
雑音がないの
で、受信記号
から送信記号
を特定できる。
44
雑音のない通信路の通信路容量
雑音の無い通信路では、受信記号を条件とする条件付き確率が
必ず１または０となる。すなわち、
" a Î A,b Î B P( a | b ) = 1 or 0
\ " b Î B H( A| b ) = ­
å
P(a | b )log P( a | b ) = 0
aÎ A
\ H( A| B ) =
å
P( b )H( A| b ) = 0
bÎ A
よって、
I( A; B ) = H( A ) - H( A| B ) = H( A )
したがって、
C = max I( A; B ) = max H( A ) = log n
A
ただし、
A
P( a1 ) = P( a2 ) = L = P( an )
45
雑音の無い通信路の通信路容量例
P( a1 ) = 1 / 3
P( a2 ) = 1 / 3
a1
a2
b1
b2
b3
b4
1/ 3
2/3
1/ 4
3/ 4
P( a3 ) = 1 / 3
a3
1/ 5
1/ 5
3/ 5
log 3 [bit/送信記号]
b5
b6
b7
46
練習
送信アルファベット
A = {a1 ,a2 }
受信アルファベット
B = {b1 ,b2 ,b3 ,b4 ,b5 }
通信路行列
é2 3
ù
ê
0 0 0ú
ê5 5
ú
T= ê
ú
2 3 4ú
ê
ê0 0
ú
êë
9 9 9ú
û
で表わされる（雑音の無い）通信路の通信路容量 CT と、
CT を実現する際の送信情報源、および受信情報源を定め
よ。
47
確定的通信路
（定義）確定的通信路
各送信記号が唯一つの受信記号に伝送されるような
通信路を確定的通信路という。
確定的通信路の通信路行列
é1
ê
ê0
ê
ê0
ê
T = êê0
ê0
ê
ê
ê0
ê
êë0
0 0 0ù
ú
1 0 0ú
ú
1 0 0úú
0 1 0úú
0 1 0úú
ú
0 1 0ú
ú
0 0 1 úû
行ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
48
確定的通信路の通信路線図
1
a1
送信先の受信
記号が１つに確
定されるので確
定的通信路
a2
a3
a4
a5
a6
a7
b1
1
b2
1
1
1
1
b3
1
b4
49
確定的通信路の通信路容量
順序に注意
確定的通信路では、送信記号を条件とする条件
付き確率が必ず１または０となる。すなわち、
" a Î A,b Î B P( b | a ) = 1 or 0
\ " a Î A H( B | a ) = ­
\ H( B | A ) =
よって、
å
å
P( b | a )log P( b | a ) = 0
bÎ B
P(a )H( B | a ) = 0
aÎ A
I( A; B ) = H( B ) - H( B | A ) = H( B )
したがって、
C = max I( A; B ) = max H( B ) = log m
A
ただし、
A
P( b1 ) = P( b2 ) = L = P( bm )
受信側の確率
が均等になるよ
うに、送信記号
の確率選べる。
50
確定的通信路の通信容量例
a1
a2
P (a )= 1 / 8 a
3
P(a )= 1 / 12 a4
P(a )= 1 / 12 a5
P(a )= 1 / 12 a
6
P(a )= 1 / 4 a7
1
P (a1 )= 1 / 4
P(a2 )= 1 / 8
1
3
1
4
5
b1
P (b1 ) = 1 / 4
b2
P (b2 ) = 1 / 4
1
1
1
b3
P (b3 ) = 1 / 4
6
7
1
b4
P (b4 ) = 1 / 4
log 4 [bit/送信記号]
51
通信路容量を満足する送信情報源例２
1
P (b1 ) = 1 / 4
P (a1 )= 1 / 4 a1
b1
1
P(a2 )= 1 / 12 a2
b2 P (b2 )= 1 / 4
P (a3 )= 2 / 12 a
3
1
a4
P(a )= 2 / 24 a5
P(a )= 3 / 24 a
6
P(a )= 1 / 4 a7
P (a4 )= 1 / 24
5
1
1
1
b3
P (b3 ) = 1 / 4
6
7
1
b4
P (b4 ) = 1 / 4
log 4 [bit/送信記号]
52
練習
送信アルファベット
受信アルファベット
通信路行列
A = {a1 ,a2 ,a3 ,a4 ,a5 }
B = {b1 ,b2 ,b3 }
é1
ê
ê1
ê
T = êê0
ê0
ê
ê0
êë
0 0ù
ú
0 0ú
ú
1 0úú
0 1 úú
0 1 úúû
で表わされる（確定的）通信路の通信路容量 CT と、
CT を実現する際の送信情報源、および受信情報源を定め
53
よ。