Transcript X - 北海道大学

1
北海道大学
Hokkaido University
情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕
講義「情報理論」
第15回
[付録] アナログ情報源とアナログ通信路
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
2
アナログ情報源と通信路のモデル
01101・・・
アナログ
情報源
01110010・・・
情報源
符号化
A/D
変換
通信路
符号化
変調
標本化
量子化
アナログ
通信路
実際には同時に行われることが多い
01101・・・
あて先
D/A
変換
情報源
復号
通信路
復号
図 アナログ情報源と通信路を含む通信系（PCM通信系）



復調
01110010・・・
アナログ情報源からは、連続的な波形―アナログ波形が発生する。
A/D変換（analog-digital conversion）は、非可逆な変換であり、1, 0の系列から元の
アナログ波形を完全に再生することはできない。何らかのひずみを生じる。
D/A変換（digital-analog conversion）によって、元のアナログ波形に近い波形を再生。
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
3
アナログ通信路の限界の理論

PCM（pulse code modulation）通信系における通信の限界
デジタルの場合と同じ
R(D)：アナログ情報源の速度・ひずみ関数 （ビット／秒）
C： アナログ通信路の通信路容量（ビット／秒）
[情報源符号化]
• 平均ひずみを D以下で送るには、 情報速度がR(D)以上の情報源符号を用い
る必要あり
• 情報速度がR(D)にいくらでも近い情報源符号で、平均ひずみを D 以下にする
ものが存在
[通信路符号化]
• R<C ⇒ 情報速度Rの情報を任意に小さい誤り率で伝送できる
• R>C ⇒ 情報速度Rの情報を誤りなく伝送できない
[通信路全体]
• R(D)<C ⇒ 平均ひずみD以下で情報を伝達することが可能
• R(D)>C ⇒ 平均ひずみD以下では情報伝達は不可能
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
4
アナログ波形は周波数成分の和で表現可能

有限の時間区間においてアナログ波形 x(t) は、正弦波の和で表現可能

区間－T/2≦ t ≦T/2 においてx(t) は、⊿ f ＝1/Tとすれば
x(t) ＝
a0
2
∞
＋Σ (ak cos 2πk⊿ f t ＋ bk sin 2πk⊿ f t )
---------------(1)
k＝1
とかける。ただし、係数 ak、bk （k＝0, 1, 2,・・・）は、
ak ＝
2
T
2
bk ＝
T
∫－T/2 x(t) cos 2πk⊿ f t dt
T/2
∫－T/2 x(t) sin 2πk⊿ f t dt
T/2
---------------(2)
とする。これを x(t) のフーリエ級数（Fourier series）と呼び、
係数 ak、bk （k＝0, 1, 2,・・・）は、フーリエ係数（Fourier coefficient）と呼ばれる。
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
5
アナログ波形の周波数成分の和表現例
区間[-T/2,T/2]で定義された関数
ìï 1 t Î [-T / 3,T / 3]
x(t) = í
otherwise
îï 0
のフーリエ級数を求めると
2 ¥æ 2
2p k ö
2p k
x(t) = + åç sin
÷ cos
3 k=1 è kp
3 ø
T
…
この４つを足すと
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
6
複素フーリエ級数

オイラーの公式 e iθ＝ cosθ＋ i sinθ を用いれば、x(t)のフーリエ級数は
∞
x(t) ＝ Σ ck e i 2πk⊿f t
---------------(3)
k＝－∞
と簡潔に書ける。ただし、
ck ＝
∫
1 T/2
x(t) e－i 2πk⊿f t dt
T －T/2
ak cos2pkDft + bk sin 2pkDft
=
--------(4)
ak - ibk i 2pkDft ak + ibk -i2pkDft
e
+
e
2
2
c-k
ck
とする。これを x(t) の複素フーリエ級数と呼び、
係数 ck を複素フーリエ係数と呼ぶ。


ck e i 2πk⊿f t ・・・・ x(t)の周波数 k⊿ f の成分
ck・・・・・・・・・・・・・ x(t)の周波数 k⊿ f の成分の分量（複素振幅）
(3)式では、x(t) の周波数成分を⊿ f ＝1/T 間隔で求めている
ck /⊿ f ・・・・ k⊿ f －(⊿ f /2)から k⊿ f ＋(⊿ f /2)までの間
の1Hz（周期一つ分）あたりの平均複素振幅
(複素振幅密度)
c－1
c0
c2
c－2
－2⊿f －⊿f
2015/7/24
c1
0
⊿f
2⊿f
f
情報理論 講義資料
北海道大学 Hokkaido University
7
フーリエ変換

(3)式でk⊿ f ＝ f とおいて、fを固定してT→∞（⊿ f →0）とし、
このときck/⊿ f →X(f)とすれば
X( f ) ＝
∞
∫－∞
x(t) e－i 2πf t dt
----------------------(5)
c－1
c0
c1
c2
c－2
－2⊿f －⊿f
0
⊿f
2⊿f
f
となる。これをx(t) から X( f ) への
フーリエ変換（Fourier transform）という。
X( f )
X( f ) は複素振幅スペクトル密度と呼ばれ
x(t) の周波数 f 付近の成分の複素振幅密度を表す。

ck＝X( f )⊿ f を、(3)式 に代入し、⊿ f →0 として、和を積分に直せば
x(t) ＝
∫－∞ X( f ) e
∞
i 2πf t
f
df
を得る。これをフーリエ逆変換という。
2015/7/24
0
複素振幅スペクトル密度から、
元の波形が復元できる！
情報理論 講義資料
北海道大学 Hokkaido University
8
標本化


標本化 ・・・ ある間隔でアナログ波形x(t)の値を採取すること
標本点 ・・・ 値を採取する点(時刻)
標本化間隔 Ts ・・・ 標本点の間隔
標本化周波数 fs＝1/Ts ・・・ 単位時間あたりの標本点の数
標本値 ・・・ 採取した値
正弦波は、1周期の半分以下の間隔で点を定めると一意に決まる。
一意に定める点列
一意に定めない点列
t
周期T0
t
周期T0
標本化間隔 Ts で標本化すれば、 周波数が1/2Ts 以下の正弦波は一意的に定まる。
【標本化周波数（サンプリング周波数）】ヒトは通常 20Hz～15,000Hzないし20,000Hz＝20kHz
程度の音を音として感じることができる。CDのサンプリング周波数は44100Hz＝44.1kHzを採
用しており、理論上22050Hzまで再現できる。ちなみにDVDは48kHzである。（Wikipediaより）
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
9
標本化定理
帯域制限された波形という
定理 ［標本化定理］
周波数成分が 0 から W まで（負の周波数成分を考えれば、－W から W
まで）に限られている波形 x(t) を、fs≧2W となる標本化周波数 fs で標本化
するとき、標本値 x(kTs) （k＝・・・－2, －1, 0, 1, 2,・・・）から次式により、元の
波形 x(t) を完全に再現することができる。ただし、Ts＝1/fs は標本化間隔で
ある。
∞
sinπfs(t－kTs)
x(t)＝ Σ x(kTs)
-----------------------(6)
k＝－∞
2015/7/24
πfs(t－kTs)
情報理論 講義資料
北海道大学 Hokkaido University
10
標本値からの波形復元



帯域制限された波形では、それが含む最高周波数の2倍以上の標本化周波数
で標本化すれば、その標本値から、(6)式により、元の波形を完全に再現できる。
このような操作を補間という。
補間は下左図に示す sinπfs t /πfs t という関数を kTs だけずらし、x(kTs) を
乗じて加えていくことにより行われる。
これは実際には下右図 のように、振幅が標本値となるようなインパルスの列を、
0 から fs /2 まででの周波数成分だけを通過するようなフィルタを通すことに
より実現できる。
x(T )
1
sinπfs t
πfs t
s
x(0)
x(2Ts)
x(3Ts)
t
Ts
t
0
－5Ts－4Ts－3Ts－2Ts－Ts
Ts 2Ts 3Ts 4Ts 5Ts
図 関数 sinπfs t /πfs t
2015/7/24
Ts
Ts
－fs /2 0 fs /2
低域通過
フィルタ
x(t)
t
図 標本値からの補間
情報理論 講義資料
北海道大学 Hokkaido University
11
アナログ情報源
帯域制限されたアナログ波形=標本値の列 （情報量として）
=確率変数列X0X1X2・・・
 時点iの標本値Xi∈Rは連続値
 長さnの標本値列X0X1X2・・・Xn-1の統計的性質
n
結合確率密度関数 pX0 X1 Xn-1 (x0, x1,..., xn-1 ) : R ®[0,¥)

¥ ¥
(òò
-¥ -¥
¥
òp
-¥
X0 X1 Xn-1
(x0 , x1,..., xn-1 )dx0 dx1
dxn-1 =1)
が定まれば完全に決まる。
P{X0 Î [a0 , b0 ], X1 Î [a1, b1 ],..., Xn-1 Î [an-1, bn-1 ]}
=
b0 b1
òò òp
a0 a1
2015/7/24
bn-1
X0 X1 Xn-1
(x0 , x1,..., xn-1 )dx0 dx1
dxn-1
an-1
情報理論 講義資料
北海道大学 Hokkaido University
12
扱いやすいアナログ情報源
記憶のない情報源
各標本値Xiが互いに独立な情報源
⇔ pXt Xt+1 Xt+l-1 (x0, x1,..., xl-1 ) = pX0 (x0 )pX1 (x1 ) pXn-1 (xn-1 )
 定常情報源
時間をずらしても結合確率密度関数が変わらない情報源
⇔すべての正の整数tとlに対して以下が成立
pXt Xt+1 Xt+l-1 (x0 , x1,..., xl-1 ) = pX0 X1 Xl-1 (x0, x1,..., xl-1 )


エルゴード情報源
確率変数列X0X1・・・Xn-1に対する任意の関数f(X0,X1,,…,Xn-1)の
時間平均と集合平均が一致する情報源
⇔１つの情報源からの出力を観測することによりその情報源
の統計的性質がすべてわかる情報源
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
13
[例]ガウス情報源
ガウス情報源・・・記憶のない定常情報源で
各標本値が正規分布に従う情報源
ガウス情報源の確率密度関数p
p(x) =
1
2ps
2
e
-
( x-m )2
2s 2
白色ガウス情報源・・・平均値が0のガウス情報源
⇔確率密度関数が p(x) =
1
2ps
2
e
-
x2
2s 2
の情報源
白色ガウス情報源の平均電力=確率分布の分散σ2
一般的に アナログ波形x(t)の平均電力＝x2(t)の時間平均
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
14
アナログ情報源のエントロピーの定義
標本値の確率密度関数がp(x)の定常アナログ情報源Sの１次エントロピーH1(S)
¥
H1 (S) = - ò p(x)log 2 p(x)dx
-¥
長さnの標本値列の確率密度関数がp(x0,…,xn-1)の定常アナログ情報源Sのn次エントロピーHn(S)
1¥
H n (S) = - ò
n -¥
¥
ò p(x ,..., x
0
n-1
)log2 p(x0 ,..., xn-1 ) dx0
dxn-1
-¥
定常アナログ情報源SのエントロピーH(S)
H(S) = lim H n (S)
n®¥
(ビット/標本値)
[注意] アナログ情報源の取り得る値は無限個あるので、すべての値を表現するには無限
の長さのビット列が必要→実際のエントロピーは無限大。これらの定義によりエントロピー
値を計算した場合、同じ量子化を行うという仮定の下で、値の差には意味がある。
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
15
連続値をとる確率変数のエントロピー
記憶のない定常情報源Sのエントロピー
H(S)=H1(S) エントロピーは１次エントロピーに一致する
 確率密度関数がp(x)である確率変数XのエントロピーH(X)

¥
H (X) = - ò
-¥

記憶のない定常情報源Sの標本値
p(x)log 2 p(x)dx
をXとすれば、H(S)=H(X)
確率変数X,Yの結合確率密度関数がp(x,y)であるとき、Yで条件
をつけたXの条件付きエントロピーH(X|Y)
¥ ¥
H(X | Y ) = - ò
ò p(x, y)log
2
p(x | y) dx
-¥ -¥
ただし
2015/7/24
¥
p(x, y)
p(x | y) =
, p(y) = ò p(x, y)dx
p(y)
-¥
情報理論 講義資料
北海道大学 Hokkaido University
16
アナログ情報源のエントロピーの例

白色ガウス情報源
記憶のない定常情報源
標本値Xの確率密度関数 p(x) =
1
e
-
x2
2s 2
2ps x 2
エントロピー H (X) = - ò p(x) log 2 1 e 2s 2 dx
2ps 2
-¥
¥
æ
log 2 e 2 ö
2
= ò ç log 2 2ps +
x ÷ p(x)dx
2
è
ø
2s
-¥
2
¥
= log 2
¥
¥
log
e
2
2
2ps 2 ò p(x)dx +
x
p(x)dx
ò
2
2s -¥
-¥
= log 2 2ps 2 +
2015/7/24
log 2 e
= log 2 2p es 2 (ビット/標本値)
2
情報理論 講義資料
北海道大学 Hokkaido University
17
最大エントロピー定理
[定理](最大エントロピー定理)
平均電力がP以下の情報源で、エントロピーが最大となるのは平均
電力Pの白色ガウス情報源であり、最大値は log2 2p eP である。
平均電力=標本値の２乗の平均
各標本値が独立な（記憶のない）定常情報源の場合には、
標本値Xの確率密度関数をp(x)とすれば
平均電力= E(X 2 ) =
と書ける。
¥
ò
x 2 p(x)dx
-¥
平均電力Pの白色ガウス情報源の標本値Xの確率密度関数:
1
p(x) =
e
2p P
2015/7/24
x2
2P
情報理論 講義資料
北海道大学 Hokkaido University
18
連続値をとる確率変数の相互情報量

結合確率分布がp(x,y)である確率変数X,Yの相互情報量I(X;Y)
I(X,Y ) = H (X) - H (X | Y )
¥
¥ ¥
= - ò p(x)log 2 p(x)dx + ò
-¥
ò
-¥ -¥
¥ ¥
2
p(x | y)dx dy
-¥ -¥
¥ ¥
=-ò
ò p(x, y)log
p(x, y)log 2 p(x)dx dy +
¥ ¥
òò
p(x, y)log 2
-¥ -¥
p(x, y)
= ò ò p(x, y)log 2
dx dy
p(x)p(y)
-¥ -¥
p(x, y)
dx dy
p(y)
ただし p(x) =
¥
ò p(x, y)dy,
-¥
¥
p(y) = ò p(x, y)dx
-¥
エントロピーの差で定義されるので値そのものに意味がある。
 デジタルの場合と同様、次の性質を満たす

• I(X;Y)≧0
• I(X;Y) =H(X) − H(X|Y) =H(Y) − H(Y|X)
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
19
相互情報量の例
X〜N(0,σx2) : 「Xは平均0、分散σx2の正規分布に従う」と読む
Z〜N(0,σz2)
XもZも白色ガウス情報源の標本値
Y=X+Z
XとZが独立なとき、相互情報量I(X;Y)は？
XとZの独立性より
2
2
Y〜N(0,σx2+σz2) ⇒ H(Y ) = log2 2p e(s x + s z )
また、X=xで条件を付けたとき
2
Y|X=x〜N(x,σz2) ⇒ H(Y | X) = H(Z) = log2 2p es z
よって相互情報量I(X;Y)は
I(X;Y ) = H (Y ) - H (Y | X) = log 2 2p e(s x2 + s z2 ) - log 2 2p es z2
= log 2
2015/7/24
æ s2ö
s x2 + s z2 1
= log 2 ç1+ x2 ÷
2
sz
2
è sz ø
情報理論 講義資料
北海道大学 Hokkaido University
20
アナログ情報源の速度・ひずみ関数
d(x,y):R→[0,∞) : ひずみ測度
p(x,y) : アナログ情報源の標本値Xとそれを符号化して
復号化した結果Yとの結合確率分布
平均ひずみ
d=
¥ ¥
ò ò d(x, y)p(x, y)dxdy
-¥ -¥
速度・ひずみ関数
R(D) = min{I(X;Y )}
d £D
R(D)は平均ひずみdをD以下に抑えるという条件の下でアナロ
グ情報源の標本値を２元符号化したときの、１標本値当たりの
平均符号長の下限
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
21
白色ガウス情報源の速度・ひずみ関数(1/2)
ひずみ測度 d(x,y)=(x − y)2
このときdは２乗平均誤差
確率密度関数p(x)が
x2
- 2
1
p(x) =
e 2s
2ps 2
で与えられるとき ¥ ¥
d=
という条件の下で
ò
2
(x
y)
p(x)p(y | x)dxdy £ D
ò
-¥ -¥
é¥
p(y | x) ù
I(X;Y ) = ò p(x)ê ò p(y | x)log2
dyúdx
p(y)
ë-¥
û
-¥
¥
を条件付確率密度関数p(y|x)に関して最小化
ただし、p(y)は次式で計算される。
¥
p(y) = ò p(x)p(y | x)dx
-¥
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
22
白色ガウス情報源の速度・ひずみ関数(2/2)
R(D) = min {I(X;Y )} = min {H(X) - H(X | Y )} = log2 2p es 2 - max H(X | Y )
d £D, p( y|x)
d £D, p( y|x)
d £D, p( y|x)
ここで H(X|Y)=H(X − Y|Y)であるからZ=X − Yとおくと
H(X|Y)=H(Z|Y)≦H(Z)
が成り立つ。ただし、等号はZとYが独立のときに成立する。
E(Z2)=dであるから、d≦Dという条件は、標本値Zを出力するアナログ情報源S
で平均電力がD以下という条件になり、H(Z)が最大になるのは最大エントロピー
定理により、Sが平均電力がDの白色ガウス情報源のときとなる。そのとき
H(Z) = log2 2p eD
であるから、速度・ひずみ関数は
1
s2
R(D) = min {I(X;Y )} = log2 2p es - log2 2p eD = log2
（ビット/標本値)
d £D, p( y|x)
2
D
となる。R(D)を達成するのは、Xと独立で平均電力がDの白色ガウス情報源の
標本値ZをXに加えた場合である。
2
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
23
アナログ情報源に対する符号化
標本値列を記号列に変換する過程であり、符号化法は多様
 代表的な符号化法

• １次元量子化
有限区間を量子化ステップに分割し、各ステップに属する標本値を
そのステップの代表値で置き換える。
• ベクトル量子化
n次元空間に有限個の代表点をとり、n個の標本値の組をそれに最
も近い代表点で置き換える。
• 変換符号化
座標軸を変換してから１次元量子化を行う方法
• 予測符号化
過去の標本値から現在の標本値の予測を行い、実際の値と予測
値の差分を１次元量子化する。
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
24
アナログ通信路

アナログ通信路・・・入出力ともにアナログ波形であるような通信路
入出力が帯域制限されたアナログ通信路
ある一定間隔でとられた標本値の列を入力とする通信路として扱える

記憶のない定常通信路・・・各時点の出力が、その時点の入力のみに関
係しそれ以外の時点の入出力に無関係な同一の分布に従う通信路
入力Xで条件付けた出力Yの条件付確率密度関数p(y|x)により
通信路の統計的性質が完全に決まる
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
25
[例]加法的白色ガウス通信路
加法的白色ガウス通信路(additive white Gaussian channel)
入力Xに対し、平均電力Nの白色ガウス雑音源から発生する、Xとは
独立な雑音Zが加わり、Y=X+Zが出力される記憶のない定常通信路
条件付確率密度関数 p(y|x)
p(y | x) =
1
e
2p N
-
( y-x )2
2N
平均電力制限の加法的白色ガウス通信路
白色ガウス雑音源
(平均電力 N)
雑音Z
+
平均電力（入力の２乗平均値）E(X2)が一定値Sに抑えられるという
制約条件(E(X2)≦S)を付けた加法的白色ガウス通信路
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
26
通信路容量

記憶のない通信路の通信路容量C
C = max { I(X;Y )} (ビット/標本値)
p( x)
記憶のある通信路の通信路容量Cもデジタルの場合と同様
 通信路符号化定理はそのまま成立
R<C ⇒ 復号誤り率をいくらでも小さくできる情報速度Rの
通信路符号化が存在
R>C ⇒ 〃が存在しない
 通信路の入出力アルファベット・・・実数全体
 符号長nの通信路符号の符号語・・・n次元実数ベクトル
 符号語の数をMとすれば、情報速度はR=(log2M)/n (ビット/標本値)

2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
27
白色ガウス通信路の通信路容量(1/2)
平均電力制限の加法的白色ガウス通信路
( y-x )2
1
e 2N
条件付確率密度関数： p(y | x) =
2p N
電力制限： E(X2)≦S
C = max { I(X;Y )} = max { H(Y ) - H(Y | X)}
p( x)
¥ ¥
H (Y | X) = - ò
p( x)
ò p(x, y)log
2
p(y | x)dx dy
-¥ -¥
æ
log 2 e
2ö
= ò ò ç log 2 2p N +
(y - x) ÷ p(x, y)dx dy
è
ø
2N
-¥ -¥
¥ ¥
= log 2 2p N +
であるから
log 2 e
= log 2 2p eN
2
C = max { H(Y )} - log2 2p eN
p( x)
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
28
白色ガウス通信路の通信路容量(2/2)
よってI(X;Y)を最大にするにはH(Y)を最大にすればよい。
Y=X+Zで、XとZは独立なので
E(Y2)=E(X2)+E(Z2)≦S+N
この条件の下、H(Y)が最大になるのは、最大エントロピー定理
により、Yが、分散がS+Nの白色ガウス情報源の標本値のとき
である。このとき
H(Y ) = log2 2p e(S + N)
であるから
C = log2 2p e(S + N ) - log2
æ Sö
1
2p eN = log2 ç1+ ÷ （ビット/標本値）
è Nø
2
S/N=通信路における信号と雑音の電力比(SN比)
2015/7/24
情報理論 講義資料
北海道大学 Hokkaido University
29
アナログ通信路に対する符号化

アナログ通信路に対する通信路符号化法
[方法１] n次元実数ベクトル空間から復号誤り率が小さくなるように
M個の点(符号語)を選ぶことにより符号を構成
損失が少ないが実現が難しい
[方法２] 変調＋ディジタル通信路に対する通信路符号化
損失が生じるが実現が難しくない
ディジタル通信路
ディジタル入力
2015/7/24
変調
アナログ通
信路
ディジタル出力
復調
情報理論 講義資料
北海道大学 Hokkaido University
30
方法２の例
S: 入力信号の電力,
0111001
N: 雑音の電力,
変調
振幅
S
帯域：0〜W (Hz)
0111001
アナログ通
信路
間隔 Ts =1/ (2W)
復調
間隔
Ts =1/ (2W)
ディジタル通信路としてみた場合のビット誤り率p
=正のパルスが負の値になるか、またはその逆の確率
( x- S )2
x2
0
- S/N
1
1
p= ò
e 2 N dx =
e 2 dx （白色ガウス通信路において
ò
2p -¥
-¥ 2p N
正のパルスが負の値になる確率）
S/N=9のときp=0.0013となるからディジタルの２元対称通信路としての通信路容量C’は
C’=1 − H(0.0013)=0.986 (ビット/記号)
これはもとの白色ガウス通信路の通信路容量Cと比べて40%の損失がある
æ Sö 1
1
C = log 2 ç1+ ÷ = log 2 10 =1.66 （ビット/標本値）
è Nø 2
2
2015/7/24
情報理論 講義資料