Transcript ppt

通信路（７章）
1
通信路のモデル
情報
送信者
м
a1
, L
п
п
A= н
п
пP( a1 ) , L
о
受信者
通信路
ьп
п
э
п
, P( an )ю
п
, an
м
b1
, L
п
п
B= н
п
п
оP( b1 ) , L
ь
п
п
э
, P( bm )п
п
ю
, bm
外乱（雑音）
送信アルファベット
受信アルファベット
m №n
でもよい。
2
イメージ
外乱も確率的に扱う。
ai
から b j に変更する確
率で通信路が定義される。
ai
ai を送信する。
bj
通信路
bj
を受信する。
3
通信路は、送信記号 ai
を送った
時、受信記号 b j が受信される確
率 P( ai ® b j ) でモデル化される。す
べての組み合わせの確率で一つの
通信路が定義される。
P( a1 )
a1
P( ai ® b j )
P( a2 ) a2
M
M
ai
P( an ) an
ある生成確率で、
送信記号が送信される。
bj
b1
P( b1 )
b2
P( b2 )
M
M
bm
P( bm )
ある（存在）確率で、
受信記号が受信される。
4
通信路線図
" i,1 Ј i Ј n,
m
е
p( ai ® b j ) = 1
雑音により、記号が変化する。
j= 1
a1
A
P( a1 ® b1 )
b1
a2
b2
a3
b3
P( a2 ® b3 )
B
P( a1 ® bm )
bm- 1
an
P( an ® bm )
送信アルファベット
bm
受信アルファベット
5
通信路行列
送
信
ア
ル
フ
ァ
ベ
ッ
ト
b1 L
a1 й t11
к
M кк M
L
T = ai кк®
®
кM
M к
кt
an кл n1 L
йP( a1 ® b1 ) L
к
к
M
к
= кк
к
M
к
кP( a ® b ) L
кл n
1
bj L
bm
­
t1m щ
ъ
Mъ
ъ
ъ
ъ
Mъ
ъ
tnm ъ
ъ
ы
L
­
tij
L
受信アルファベット
" i,1 Ј i Ј n,
m
е
tij = 1
j= 1
行で和をとると１。
（確率ベクトル）
L
P( ai ® b j )
L
P( a1 ® bm )щ
ъ
M ъ
ъ
ъ
ъ
M ъ
ъ
ъ
P( an ® bm )ы
ъ6
通信路行列の意味
1 Ј i Ј n,1 Ј j Ј m
tij = P( b j | ai ) = P( ai ® b j )
通信路行
列の要素
ai を送くる条件の下で、
b j が受信される確率
ai を送信したら、
b j が受信される確率
通信路行列の関係式
м
" i, j,1 Ј i Ј n,1 Ј j Ј m 0 Ј tij Ј 1
п
п
п
п
m
н
п
" i,1 Ј i Ј n
tij = 1
е
п
п
j= 1
п
о
確率の式。
（行ベクトルが
確率ベクトル）
7
通信路例１（２元対称通信路）
1- p
p
0
p:誤り確率
0
p
A = {0,1}
1
B = {0 ,1}
1- p
й
щ
1
p
p
2
ъ
Ts = к
кл p 1- pы
ъ
1
応用上重要。
誤り確率により、対
称的に送信記号が
変化する。
8
通信路例２（２元対称消失通信路）
1- px - pe
0
A = {0,1}
1
px
pe
pe
px
1- px - pe
й
1- px - pe
2
TX = к
кpe
л
px
px
0
X
pe :誤り確率
px :消失確率
B = {0 , X ,1}
Xは消失を意
味する記号。
1
щ
ъ
ъ
1- px - pe ы
pe
応用上重要。
送信記号の
消失と誤りの
両方が起こる。
9
練習
次の通信路線図で表されている通信路の、
通信路行列を求めよ。
（１）
1- px
0
0
px
qx
X
1
（２）
a
b
c
1- p
p p
1- p
p
p
1- q x
1
d
a
b
c
d
1- p
1- p
10
練習２
次の通信路行列で表されていいる通信路の通信
路線図を示せ。
（１）
A = {a,b,c}
B = {a ,b ,c }
й0.7 0.2 0.1щ
к
ъ
T1 = к0.2 0.6 0.2ъ
к
ъ
к0.1 0.2 0.7ъ
л
ы
（２）
A = {a,b,c,d }
й1к
к
T2 = к
к
к
к
л
p- q
p
0
q
B = {a ,b ,c ,d }
щ
ъ
1- p - q
q
0 ъ
ъ
ъ
p
1- p - q
q
ъ
ъ
0
p
1- p - q ы
p
0
q
11
通信路での確率の関係１
（全確率の公式）
通信路を通して受信される
" j,1 Ј j Ј m,
記号の受信確率は、送信記
号の生成確率と通信路の確
率的振る舞いで定まる。
n
P( b j ) =
е
P( b j | ai )P( ai )
i= 1
n
=
е
P( ai )P( ai ® b j )
i= 1
n
=
е
pi tij
i= 1
12
証明
A
P( a ) a
1
1
B
P( a1 ® bi )
b1
a2
1
P( ai ) ai
P( ai ® bi )
P( ai ) an
P( an ® bi )
bj
P( b j )
bm
bi が受信される全ての可能性（経
路）を考えて総和をとる。
図より、成立する。
QED
13
別証明
結合確率と条件付き確率の関係式。
(1) P( ai ,b j ) = P( b j | ai )P( ai )
結合確率：事象 ai が起こりかつ
事象 b j が起こる確率。
２つの事象が同時に起こる確率。
条件付き確率：事象 ai
が起こったとしたときに事
象 b j が起こる確率。
結合確率による確率の計算
(2) P( b j ) =
е
P( ai ,b j )
i
結合確率を片方の事象系において総和をとる。
（１）、（２）より成り立つ。
QED 14
通信路での確率の関係２
（ベーズの定理）
" i, j,1 Ј i Ј n,1 Ј j Ј m,
P( ai | b j ) =
P( b j | ai )P( ai )
n
е
P( b j | ak )P( ak )
k= 1
通信路を通して記号 b j が受信されたとき、
送信側で記号 ai を送っている確率が計算で
きることを表す式。通信路の性質と送信アルファ
ベットの発生確率は既知であることに注意する。
15
証明
結合確率の式
P( ai ,b j ) = P( b j | ai )P( ai ) = P( ai | b j )P( b j )
\ P( ai | b j ) =
P( ai ,b j )
P( b j )
=
P( b j | ai )P( ai )
P( b j )
全確率の式を適用する。
\ P( ai | b j )
=
P( ai ,b j )
n
е
k= 1
P( b j | ak )P( ak )
=
P( b j | ai )P( ai )
n
е
k= 1
P( b j | ak )P( ak )
QED
16
通信路行列と確率
PA = ( P( a1 ),L ,P( an ))
PB = ( P( b1 ),L ,P( bm ))
として、次式で表される。
PB = PAT
йt11 L
к
( P( b1 ),L ,P( bm )) = ( P( a1 ),L ,P( an )) кM O
к
кt
лn1 L
t1m щ
ъ
Mъ
ъ
tnm ъ
ы
情報理論では、行ベクトル（横ベクトル）が確率ベク
トルになるように扱うことが多い。
17
別表現
転地を行うと、左右が反転す
ることに注意
t
t
t
PB = T PA
йP( b1 ) щ
к
ъ
к M ъ=
к
ъ
кP( b )ъ
л m ы
йt11 L
к
кM O
к
кt
L
1
m
л
tn1 щйP( a1 ) щ
ък
ъ
Mък M ъ
ък
ъ
ъ
tnm ък
P(
a
)
ыл n ы
線形代数等では、列ベクトルを多
く扱う。これらを混同せずに扱う必
要がある。
18
通信路で送信される情報量
（相互情報量）
мa1
, L
п
A= п
н
п
пP( a1 ) , L
о
м
b1
, L
п
п
B= н
п
пP( b1 ) , L
о
ьп
п
э
п
, P( an )ю
п
, an
ь
п
п
э
, P( bm )п
п
ю
, bm
T
通信路
H( A )
通信路を通さずに直に
情報源Aに関する情報
を得られる場合。
H( A| B )
通信路を通して、間接
的に情報源Aに関する
情報を得る場合。
19
通信路で伝送
される情報量 ＝
送信情報源の
情報量
I( A; B )
H( A )
－
受信情報を条件と
する送信情報源
の情報量
H( A| B )
伝送される情報量は、
相互情報量として求め
られる。
20
様々なエントロピー（復習）
H (B )
エントロピー
H (A )
H (B | A )
条件付
きエン
トロ
ピー
H (A | B )
条件付
きエン
トロ
ピー
結合エントロピー
H (A , B )
相互情報量
I (A ; B )
21
H (A ) = -
е
P (a ) logP (a )
е
P ( b )H (A | b )
H (B ) = -
H (B | A ) =
b ОB
= -
е
b ОB
= -
е
P ( b ) logP ( b )
b ОB
a ОA
H (A | B ) =
е
е
P (a )H (B | a )
a ОA
P ( b )е P (a | b ) log P ( a | b )
= -
a ОA
е
a ОA
P (a , b ) log P (a | b )
= -
a ОA , b ОB
е
P (a )е P ( b | a ) log P ( b | a )
b ОB
P (a , b ) log P ( b | a )
a ОA , b ОB
H (A , B ) = -
е
P (a , b ) logP ( a , b )
a ОA , b ОB
= H (A ) + H (B ) - I (A ; B )
I (A ; B ) = H (A ) - H (A | B )
= H (B ) - H ( B | A )
= H (A ) + H ( B ) - H ( A , B )
22
相互情報量の確率表現
I (A ; B ) = H ( A ) - H ( A | B )
= -
е
a ОA
= -
е
ж
P (a ) log P (a ) - ззззи
ц
ч
P ( a , b ) log P ( a | b )ч
е
ч
ч
ш
a ОA , b ОB
P (a , b ) log P ( a ) +
a ОA , b ОB
е
P ( a , b ) log P ( a | b )
a ОA , b ОB
P (a | b )
= е P (a , b ) log
P (a )
a ОA , b ОB
P (a , b )
= е P (a , b ) log
P (a )P ( b )
a ОA , b ОB
23
例１
м
0
п
情報源 A = п
н
ь
1 п
п
эを
п
п1 / 2 , 1 / 2п
п
о
ю
й3 / 4 1 / 4 щ
通信路行列 T = к
ъ の通信路で
кл1 / 4 3 / 4ы
ъ
,
м
ь
п
п
0
,
1
п
伝送するとき、受信される情報源 B = п
н
э と
п
п
п
о P( 0 ) , P( 1 )п
ю
送信元の情報源の相互情報量 I( A; B ) を求めよ。
P( 0 ) = 1 / 2
0
P( 1 ) = 1 / 2
1
3/ 4
1/ 4
1/ 4
3/ 4
0
1
２元対称
通信路
24
（計算例）
まず、受信記号 B = {0 , 1}の生成確率 P( 0 ),P( 1 )
を求める。
PB = PAT
\ ( P( 0 ),P( 1 )) = ( P( 0 ),P( 1 ))T
й3 / 4 1 / 4 щ
ъ= ( 1 / 2,1 / 2 )
\ ( P( 0 ),P( 1 )) = ( 1 / 2,1 / 2 ) к
кл1 / 4 3 / 4ы
ъ
次に、結合確率を求める。
3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = ґ
4
1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = ґ
4
1 3
=
2 8
1 1
=
2 8
1 1 1
P( 1, 0 ) = P( 0 | 1 )P( 1 ) = ґ =
4 2 8
3 1 3
P( 1, 1 ) = P( 1 | 1 )P( 1 ) = ґ =
4 2 8
0を送信
１を送信
25
以上より、相互情報量を求める。
P( a , b )
I( A; B ) = е P( a , b )log
P( a )P( b )
a ОA,bОB
P( 0, 0 )
P( 0, 1 )
= P( 0, 0 )log
+ P( 0, 1 )log
+
P( 0 )P( 0 )
P( 0 )P( 1 )
P( 1, 0 )
P( 1, 1 )
P( 1, 0 )log
+ P( 1, 1 )log
P( 1 )P( 0 )
P( 1 )P( 1 )
3
3 1
1 1
1 3
3
= log + log + log + log
8
2 8
2 8
2 8
2
3
= log 3 - 1 ; 0.189
4
26
練習
м
0
п
情報源 A = п
н
ь
1 п
п
эを
п
п1 / 3 , 2 / 3п
п
о
ю
й3 / 4 1 / 4 щ
通信路行列 T = к
ъ の通信路で
кл1 / 4 3 / 4ы
ъ
,
м
ь
п
п
0
,
1
п
伝送するとき、受信される情報源 B = п
н
э と
п
п
п
о P( 0 ) , P( 1 )п
ю
送信元の情報源の相互情報量 I( A; B ) を求めよ。
27
通信路容量（重要）
（定義）：通信路容量
通信路 T に対して、次式で表される値を
通信路容量という。
C = max I( A; B )
A
ここで, max は送信情報源の確率的な組み合
わせ全ての中で最大値を選ぶ。
通信路の”太さ”を表す式。情報を伝送してみて
最大の情報量で定義する。
28
イメージ
情報
通信路
物理的でないので、直接”太
さ”を測ることができない。
水
水路
伝送されるもので、間接的に
に”太さ”は測ることができる。
29
例
й3 / 4 1 / 4 щ
ъ の通信路の通信路容量
通信路行列 T = к
кл1 / 4 3 / 4ы
ъ
求めよ。（誤り確率
p = 1/ 4
CT
を
の２元対称通信路）
（解答例）
м
0
п
п
送信情報源を A = н
п
п pA
о
ь
1 п
п
э とし、
, 1- p A п
п
ю
м
п
0
п
受信情報源を B = н
п
п pB
о
ь
1 п
п
э とする。
, 1- pB п
п
ю
また、
,
,
PA = ( pA ,1- pA ), PB = ( pB ,1- pB )
とする。
30
まず、受信記号の生起確率を求める。
PB = PAT
й3 / 4 1 / 4 щ
ъ
\ ( pB ,1- pB ) = ( p A ,1- p A ) к
кл1 / 4 3 / 4ы
ъ
1 pA 3 pA
\ ( pB ,1- pB ) = ( +
, )
4
2 4 2
1 pA 1+ 2 pA
\ pB = +
=
4
2
4
次に、結合確率はを求める。
3
P( 0, 0 ) = P( 0 | 0 )P( 0 ) = p A
4
1
P( 0, 1 ) = P( 1 | 0 )P( 0 ) = p A
4
0を送信
31
1
P( 1, 0 ) = P( 0 | 1 )P( 1 ) = ( 1- p A )
4
3
P( 1, 1 ) = P( 1 | 0 )P( 1 ) = ( 1- p A )
4
１を送信
条件付きエントロピー H( B | A ) を求める。
H( B | A ) = -
е
P( a , b )log P( b | a )
a ОA,bОB
3
4 1
1
3
4
= p A log + p A log 4 + ( 1- p A )log 4 + ( 1- p A )log
4
3 4
4
4
3
1
3
4
= log 4 + log
4
4
3
通信路の誤り確率だけで定まる。
1
H ( p ) は２元のエントロピー関数
=H ( )
4
H ( p ) = - p log p - ( 1- p )log( 1- p )
= H ( p)
32
従って、相互情報量 I( A; B ) は次式で求められる。
I( A; B ) = H( B ) - H( B | A )
= H ( pB ) - H ( p )
1 1
1
= H ( + pA ) - H ( )
4 2
4
よって、通信路容量
CT = max I( A; B )
A
м
1 pA
п
= max нH ( +
p A О[ 0 ,1 ] п
4
2
п
о
м
1 pA
п
= max нH ( +
p A О[ 0 ,1 ] п
4
2
п
о
CT
は以下のように求められる。
ここで、最大値は
1 pA 1
ь
1 п
+
=
) - H ( )э
4
2
2
п
4 ю
п
1
\ pA =
ь
1
п
2
)э - H ( ) のときに実現される。また、こ
п
4
п
ю
のときの pB は以下である。
1
3
4
= 1- ( log 4 + log ) ; 0.189
1 pA 1
pB = + =
4
4
3
33
4 2 2
練習
й2 / 3 1 / 3 щ
ъ の通信路の通信路容量
通信路行列 T = к
кл1 / 3 2 / 3ы
ъ
CT
を
求めよ。
34
２元対称通信路の通信路容量
２元対称通信路の通信路容量
誤り確率 p の２元対称通信路の通信路容量
は次式で求められる。
C
C = 1- H ( p )
通信路容量が達成されるとき、送信、受信の各確率は
以下で表される。
対称性より、送信を
均等に行うと、受信
PA = ( P( 0 ),P( 1 )) = (1 / 2,1 / 2)
も均等になる。
（式で計算して確か
PB = ( P( 0 ),P( 1 )) = (1 / 2,1 / 2)
めると良い。）
35
証明
通信路行列は、次式のようになる。
й1- p
p щ
ъ
Tp = к
кл p 1- pы
ъ
例題と同様にして以下のように求められる。
й1- p
p щ
ъ
( pB ,1- pB ) = ( p A ,1- p A ) к
кл p 1- pъы
\ pB = p A + p - 2 p A p
Q ( pA = 1 / 2
CT = max I( A; B )
® pB = 1 / 2
= max {H ( pB ) - H ( p )}
® H ( pB ) = 1 )
A
p A О[ 0 ,1 ]
= max {H ( pB )}- H ( p )
p A О[ 0 ,1 ]
= 1- H ( p )
QED
36
２元対称通信路の通信路容量（概形）
37
雑音のない通信路
（定義）雑音の無い通信路
受信記号から送信記号が一意に確定できるような
通信路を雑音の無い通信路という。
雑音の無い通信路の通信路行列
й1 / 3 2 / 3 0
0
0
0
0 щ
к
ъ
T = к0
0 1/ 4 3 / 4 0
0
0 ъ
к
ъ
к0
ъ
0
0
0
1
/
5
1
/
5
3
/
5
л
ы
列ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
38
雑音の無い通信路の通信路線図
a1
a2
1/ 3
b1
2/ 3
b2
1/ 4
b3
b4
3/ 4
a3
1/ 5
1/ 5
b5
b6
雑音がないの
で、送信記号を
特定できる。
3/ 5
b7
39
雑音のない通信路の通信路容量
雑音の無い通信路では、受信記号を条件とする条件付き確率が
必ず１または０となる。すなわち、
" a О A,b О B
P( a | b ) = 1 or
\ " b О B H( A| b ) = ­
е
0
P( a | b )log P( a | b ) = 0
a ОA
\ H( A| B ) =
е
P( b )H( A| b ) = 0
bОA
よって、
I( A; B ) = H( A ) - H( A| B ) = H( A )
したがって、
C = max I( A; B ) = max H( A ) = log n
A
ただし、
A
P( a1 ) = P( a2 ) = L = P( an )
40
雑音の無い通信路の通信路容量例
P( a1 ) = 1 / 3
P( a2 ) = 1 / 3
a1
a2
b1
1/ 3
2/ 3
b2
1/ 4
b3
b4
3/ 4
P( a3 ) = 1 / 3
a3
1/ 5
1/ 5
b5
b6
3/ 5
log 3 [bit/送信記号]
b7
41
確定的通信路
（定義）確定的通信路
各送信記号が唯一つの受信記号に伝送されるような
通信路を確定的通信路という。
確定的通信路の通信路行列
й1
к
к0
к
к0
T = кк
к0
к0
к
к
кл0
0 0щ
ъ
1 0ъ
ъ
1 0ъ
ъ
0 1ъ
ъ
0 1ъ
ъ
ъ
0 1ъ
ы
行ベクトルが全て、１要素以外０。
（行ベクトルは確率ベクトル）
42
確定的通信路の通信路線図
1
a1
送信先の記号
が確定されるの
で確定的通信
路
a2
a3
a4
a5
a6
b1
1
b2
1
1
1
1
b3
43
確定的通信路の通信路容量
順序に注意
確定的通信路では、送信記号を条件とする条件
付き確率が必ず１または０となる。すなわち、
" a О A,b О B
P( b | a ) = 1 or
\ " a О A H( B | a ) = ­
е
0
P( b | a )log P( b | a ) = 0
bОB
\ H( B | A ) =
よって、
е
P( a )H( B | a ) = 0
a ОA
I( A; B ) = H( B ) - H( B | A ) = H( B )
したがって、
C = max I( A; B ) = max H( B ) = log m
A
ただし、
A
P( b1 ) = P( b2 ) = L = P( bm )
受信側の確率
が均等になるよ
うに、送信記号
の確率選べる。
44
確定的通信路の通信路容量例
P( a1 ) = 1 / 3
P( a2 ) = 1 / 6
P( a3 ) = 1 / 6
P( a4 ) = 1 / 9
P( a5 ) = 1 / 9
P( a6 ) = 1 / 9
1
a1
a2
a3
a4
a5
a6
1
b1
P( b1 ) = 1 / 3
b2
1
P( b2 ) = 1 / 3
1
1
1
b3
P( b3 ) = 1 / 3
log 3 [bit/送信記号]
45