Transcript 情報理論

様々な情報源（４章）
1
情報源の役割
情報
情報源
伝送路
(通信路）
受信者
今回扱う。
☆無記憶情報源
（前の記号に依存しない情報
源。サイコロのような情報源）
☆マルコフ情報源
（前の結果に依存する情報源。
英文等は、こっちの方）
2
情報源モデル
情報源アルファベット
S = {s1, s 2, L , sn }
情報源：
離散的な時刻に従い、
ある記号の集合から、
各時刻に一つの記号
を（ある確率的性格
で）出力する。
t
情報源から発生する記号の
集合
情報源シンボル（記号）
情報源から発生する記号。
情報源アルファベットの要素
記号 st О S は、時刻 t i
i
で発生した情報源記号
st 1 s t 2 s t 3 s t 4 L
時間軸
3
情報源例１
サイコロを振る試行
による記号の生成。
情報源アルファベット
D = {1, 2, 3, 4, 5, 6}
st1 = 3 st2 = 5 st 3 = 2
L
t
1回は３の目がでた。
4
情報源例２
英文からアルファ
ベットを拾って記号を
生成。
情報源アルファベット
A = {a, b, c, L , z }
st1 = i st2 = n st 3 = f
L
t
1文字目は”i”だった。
inf ormation ?
5
通報
定義：通報
情報源から発生する記号系を通報という。
情報源
通報
st 1 s t 2 s t 3 s t 4
s
(n )
L
n
t
時間軸
= st1st2 L stn
n
s
(n )
t
= st - (n - 1)st - (n - 2) L st
n
6
情報源における記憶
無記憶情報源
st 1 s t 2 s t 3 s t 4
記号の生成確率が、
以前の記号に無関係
L
記憶のある情報源
st 1 s t 2 s t 3 s t 4
L
記号の生成確率が、
生成した記号で変化する
7
無記憶情報源（独立情報源）
無記憶情報源
s1
, L
м
п
S = п
н
P (s1 ) , L
п
п
о
st 1 s t 2 s t 3 s t 4
ь
п
п
э
, P (sn )п
п
ю
, sn
記号の生成確率が、
以前の記号に無関係
L
無記憶情報源の１記号あたりの（平均）情報量は、
次式で表される。
n
H (S ) = -
е
P (sk ) log P (sk )
[bit / 記号]
k= 1
8
１記号の発生速度を
r*
[記号 / 単位時間]
とする。このとき、単位時間あたりの発生平均情報量は、
次式であらわされる。
H * (S ) = r *H (S )
n
= -r
*
е
P (sk ) log P (sk )
[bit / 単位時間]
k= 1
以下に注意する。
左辺＝[bit / 単位時間]
右辺＝記号
[
/ 単位時間][bit / 記号] = [bit / 単位時間]
9
記憶のある情報源
記号の生成確率が、
以前の記号で変化する
記憶ある情報
S = {s1, s2, L , sn }
1
1
{P (s1), L , P (sn )} {P 2(s1), L , P 2(sn )}
{P
3
3
(s1 ), L , P (sn )}
4
4
P
(
s
),
L
,
P
(sn )}
{ 1
st 1 s t 2 s t 3 s t 4
L
10
問題
次の四角に入るアルファベットを求めよ。
(1)
(2)
m
t
m
n
e
t
in
is
m
il
t
at
(3)
speake
teache
manne
11
マルコフ情報源
12
マルコフ情報源
定義：マルコフ情報源
直前のm 個の記号よって、次記号の発生確率が変化する
情報源を(m重)マルコフ情報源という。
発生した記号を条件とする条件付確率で定式化される。
すなわち、次の条件付き確率で定められる情報源である。
" s , s 1, s 2 , L , s m О S
P (s | s1, s 2, L , sm )
s
は今度発
生する記号
s 1, s 2 , L , s m
は直
前のm個の記号列。
カンマはANDの意味。
13
（単純）マルコフ情報源
定義：マルコフ情報源
直前の生成された記号よって、次記号の発生確率が変化
する情報源を単純マルコフ情報源という。
発生した記号を条件とする条件付確率で定式化される。
すなわち、
に対して条件付確率
" s, s ' О S
P (s | s ')
で定められる情報源である。
s
は今度発生する記号
s ' は直前に発
生した記号
14
マルコフ情報源における状態の遷移
S = {s1, L , sn }
P (s1 | s1 )
s1
s1
s2
P (s 2 | s1 )
P (s n | s1 )
P (s1 | s 2 )
s2
P (s 2 | s 2 )
P (sn | s 2 )
sn
s1
s2
sn
sn
15
状態遷移（確率）行列
йP (s1 | s1 ) P (s 2 | s1 )
к
кP (s | s ) P (s | s )
2
2
к 1 2
P = к
к M
O
к
кP (s | s )
L
кл 1 n
L
L
O
L
P (s n | s1 ) щ
ъ
ъ
P (s n | s 2 ) ъ
ъ=
M ъ
ъ
P (s n | s n )ъ
ъ
ы
йP1 щ
к ъ
кP ъ
к 2ъ
к ъ
к Mъ
к ъ
кPn ъ
кл ъ
ы
行ベクトルはすべて、確率ベクトル（要素は全て０から１
の値を持ち、要素の総和が１）。すなわち、確率ベクトル
p = ( p1, p2 , L , pn ) に対して次式が成り立つ。
1 Ј i Ј n,
0 Ј pi Ј 1
n
е
i= 1
pi = 1
16
状態遷移確率行列のイメージ
次の記号
sj
P
前の記号
si
条件付確率
添え字の順
序に注意
pij = P (s j | si )
各行で総和は１
si , s j О S = {s1, L , sn }
なので正方行列
17
シャノン線図（状態遷移図）
S = {s1, L , sn }
P (s1 | s1 )
S1
P (s 2 | s1 )
P (si | s1 )
P (sn | sn )
P (s n | s1 )
Sn
P (s1 | si )
Si
記号を状態と
みなし、条件
付確率を矢
印で表したも
の。
S2
P (s 2 | s 2 )
S3
P (s 3 | s 3 )
18
マルコフ情報源例（アルファベット）
A = {a, b, c, L , z }
a
P (a | a )
b
a
P (b | a )
P (z | a )
P (a | b)
b
P (b | b)
P (z | b)
z
英単語において、
thやer
が多いことから、
P (h | t ) や P (r | e )
が大きいと考えられる。
a
b
z
z
19
状態遷移行列
йP (a | a ) P (b | a )
к
кP (a | b) P (b | b)
к
P= к
к M
O
к
кP (a | z )
L
кл
辞書
L P (z | a ) щ
ъ
ъ
L P (z | z ) ъ
ъ=
O
M ъ
ъ
ъ
L P (z | z ) ъ
ы
a
aa
ab
b
йPa щ
к ъ
кP ъ
к bъ
к ъ
кMъ
к ъ
кPz ъ
кл ы
ъ
az
20
シャノン線図（アルファベット）
A = {a, b, c, L , z }
z
a
b
c
b ОA
P (b | a )
a ОA
P (a | a )
21
マルコフ情報源例（２元単純マルコフ情報源）
生成記号が 生成記号が
B = {0,1}
０の列
P (0 | 0) = 1/ 4
0
0
P (1 | 0) = 3 / 4
P (0 | 1) = 2 / 3
1
P (1 | 1) = 1/ 3
1
0
1
１の列
状態（記号）
が０の行
P =
й1/ 4 3/ 4щ
к
ъ
к2/ 3 1/ 3 ъ
кл
ъ
ы
状態（記号）
が１の行
22
２元単純マルコフ情報源のシャノン線図
3
4
1
4
1
0
1
3
2
3
23
練習１
次の状態遷移確率行列で表されるマルコフ情報源を、シャ
ノン線図で表せ。
й1/ 2 1/ 4
0
0
0 1/ 4щ
к
ъ
к1/ 4 1/ 2 1/ 4
ъ
0
0
0
к
ъ
к
ъ
к 0 1/ 4 1/ 2 1/ 4
0
0 ъ
ъ
P = кк
ъ
0
0
1/
4
1/
2
1/
4
0
к
ъ
к
ъ
к0
0
0 1/ 4 1/ 2 1/ 4ъ
к
ъ
к1/ 4
ъ
0
0
0
1/
4
1/
2
кл
ъ
ы 24
練習２
次のシャノン線図で表されるマルコフ情報源の状態
遷移確率行列を求めよ。
0.5
0.6
0.2
S1
0.2
0.1
0.7
S2
0.8
S4
0.2
0.1
S5
0.4
0.1
S6
0.1
1.0
0.7
S3
0.3
25
練習３
次のようなマルコフ情報源の、
状態遷移確率行列およびシャノン線図を求めよ。
手 = {グー、チョキ、パー}
自分が出した手の次の手は、
・前の手に勝つような手を出す確率が1/2である。
・前の手に引き分ける手を出す確率が1/3である。
・前の手に負ける手を出す確率が1/6である。
26
（参考）無記憶情報源の状態遷移行列
均等なサイコロを振ったときの状態遷移行列
次 出る目
今の目
1
2
3
4
5
6
1 й1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6щ
2
P =
3
4
5
6
к
к1/
к
к
к1/
к
к1/
к
к
к1/
к
к1/
кл
6 1/ 6 1/ 6 1/ 6 1/ 6 1/
6 1/ 6 1/ 6 1/ 6 1/ 6 1/
6 1/ 6 1/ 6 1/ 6 1/ 6 1/
6 1/ 6 1/ 6 1/ 6 1/ 6 1/
6 1/ 6 1/ 6 1/ 6 1/ 6 1/
ъ
6ъ
ъ
ъ
6ъ 条件付
ъ 確率
6ъ
ъ
ъ
6ъ
ъ
6ъ
ъ
ы
27
偶数の出やすいサイコロ（無記憶情報源）
次 出る目
今の目
1
2
3
4
5
6
1 й1/ 12 1/ 4 1/ 12 1/ 4 1/ 12 1/ 4 щ
2
P =
3
4
5
6
к
к1/
к
к
к1/
к
к1/
к
к
к1/
к
к1/
кл
12 1/ 4 1/ 12 1/ 4 1/ 12 1/
12 1/ 4 1/ 12 1/ 4 1/ 12 1/
12 1/ 4 1/ 12 1/ 4 1/ 12 1/
12 1/ 4 1/ 12 1/ 4 1/ 12 1/
12 1/ 4 1/ 12 1/ 4 1/ 12 1/
ъ
4ъ
ъ
ъ
4 ъ 条件付
ъ 確率
4ъ
ъ
ъ
4ъ
ъ
4ъ
ъ
ы
28
練習
（１）コインを振って得られる状態遷移関数を求めよ。
（２）表の出る確率が、裏のでる確率の２倍であるコインを
振って得られる状態遷移関数を求めよ。
29
定常分布
定義：定常分布
情報源アルファベット S = {s1, s 2, L , sn } に対して、
出現確率が時刻 t
と時刻 t + 1 で変化しないよう
な記号の分布を定常分布という。
t
t
P (sn )
P (s1 )
s1
sn
P
t+1
" si О S
P t (si ) = P t + 1(si )
t
P (si )
(sn )
s1
sn
s2
si О S
P
t+1
s2
si О S
P
t+1
(si )
30
(s1 )
定常分布の求め方
定常分布は、状態遷移確率行列から求めることができる。
定常分布をz = (z 1, z 2 , L , z n ) とし、状態遷移確率行列を
P = [pij ] とする。このとき、次式が成り立つ。
時刻 t からt + 1になっても変化しない。
常に一定の出現確率となる。
z = zP
記号の出現確率。
生成した記号の確率と状
態遷移確率積なので、次
の記号の出現確率を表す。
31
z = zP
の意味。
йP (s1 | s1 ) P (s 2 | s1 )
к
кP (s | s ) P (s | s )
2
2
к 1 2
(P (s1 ), L , P (s n )) = (P (s 1 ), L , P (s n )) к
к M
M
к
кP (s | s )
L
кл 1 n
L
L
O
L
P (s n | s1 ) щ
ъ
M ъ
ъ
ъ
M ъ
ъ
P (s n | s n )ъ
ъ
ы
情報理論では、慣用的に確率ベクトルは行ベ
クトルで表される。
t
t
t
z = P z
жP (s1 ) ц
ч
зз
ч
ззP (s ) ч
ч
зз 2 ч
ч
ч
=
зз
ч
ч
зз M ч
ч
ч
зз
ч
ч
P
(
s
)
зи
ч
n
ш
з
ч
転置を用いて左式のようにも表せる。
йP (s1 | s1 ) P (s1 | s 2 )
к
кP (s | s ) P (s | s )
2
2
к 2 1
к
к M
M
к
кP (s | s )
L
кл n 1
L
L
O
L
P (s1 | s n ) щж
P (s1 ) ц
ч
з
ъз
ч
ч
з
ъ
M ъззP (s 2 ) ч
ч
ч
з
ч
ъз
ч
з
ъ
M
M ч
ч
з
ч
ъзз
ч
ч
ъ
з
ч
P (s n | s n )ъзиP (s n )ш
ч
ч
ыз
32
定常分布例
情報源アルファベットB = {0,1} に対する２元マルコフ情報
源の状態遷移確率関数が次式で与えられている。
й1/ 4 3/ 4щ
к
ъ
P = к
ъ
кл2/ 3 1/ 3 ъ
ы
このとき、定常分布 z = (z 0, z 1 ) = (P (0), P (1)) を求めよ。
解）
й1/ 4 3/ 4щ
ъ
(z 0, z 1 ) = (z 0, z 1 ) кк
ъ
2/
3
1/
3
кл
ъ
ы
より、
жz 0 ч
ц
зз ч=
зиz 1 ч
ч
ш
й1/ 4 2/ 3щжz 0 ц
к
ъз ч
ч
з
к3/ 4 1/ 3 ъзz 1 ч
и ч
ш
кл
ъ
ы
33
м
3
2
п
п
z
=
z1
0
п
4
3
\ п
н
п
2
3
п
z
=
z0
п
1
п
4
о3
\ 9z 0 = 8z 1
一方、z
全ての行ベクトルが確率ベクトルなので遷移
確率行列は正則でなく逆行列を持たない。
よって、このように必ず不定の解になる。
は確率ベクトルなので、
前のスライドとこの式か
ら求める。
z 0 + z1 = 1
が成り立つ。
9
\ z0 + z0 = 1
8
8
\ z0 =
17
9
\ z1 =
17
検算
й1/ 4 3 / 4щ
ъ
8 / 17 9 / 17 кк
ъ
2
/
3
1/
3
кл
ъ
ы
(
(
= (8 / 17
)
= 2 / 17 + 6 / 17 6 / 17 + 9 / 17
9 / 17
)
34
)
練習
次の状態遷移確率行列で表される情報源の定常分布を求めよ。
（１）
（２）
й2/ 5 3/ 5щ
к
ъ
P1 = к
ъ
кл1/ 2 1/ 2 ъ
ы
й1/ 2 1/ 2
щ
0
к
ъ
к
ъ
P2 = к 0
1/ 3 2 / 3ъ
к
ъ
к3 / 4
ъ
0 1/ 4 ъ
кл
ы
35
無記憶情報源における定常分布
無記憶情報源における定常分布は、出現確率と一致する。
無記憶情報源が次式で表されているとする。
s1
, L
м
п
S = п
н
P (s1 ) , L
п
п
о
ь
п
п
э
, P (sn )п
п
ю
, sn
このとき、状態遷移確率行列は次式で表される。
йP (s1 ) L
к
кP (s ) L
к 1
P = к
к M
к
кP (s ) L
кл 1
P (sn )щ
ъ
P (sn )ъъ
ъ
Mъ
ъ
P (sn )ъъ
ы
すべての行が同一な
状態遷移行列。
逆に、このような行列
で表される情報源が
無記憶情報源。
36
(P (s )
1
L
йP (s1 ) L
к
кP (s ) L
к 1
P (s n ) к
к M
к
кP (s ) L
кл 1
)
ж
зз
n
= ззP (s1 ) е P (s i ) L
зз
i = 142 4443
144
зи
1
(
= P (s1 ) L
P (s n )
P (s n )щ
ъ
P (s n )ъъ
ъ
Mъ
ъ
ъ
P (s n )ъ
ы
цч
n
чч
P (s n ) е P (s i )чч
ч
i144
= 142 4443ч
чш
1
)
37
マルコフ情報源の随伴（無記憶）情報源
定義：随伴情報源
マルコフ情報源 S の定常分布を確率分布とするような
無記憶情報源を元のマルコフ情報源の随伴情報源 S
という。
例
情報源アルファベット B
遷移確率行列が
= {0,1}
й1/ 4 3/
PB = кк
кл2/ 3 1/
で表されるマルコフ情報源を S
このとき、随伴情報源
B
SB
を持ち、状態
4щ
ъ
ъ
3ъ
ы
とする。
は次式で表される。
м
,
1 ьп
п 0
п
SB = п
н
э
п
8 / 17 , 9 / 17п
п
п
о
ю
38
マルコフ情報源のエントロピー
定義：マルコフ情報源のエントロピー
S
マルコフ情報源
付きエントロピー
トロピーという。
H (S | S ) =
に対して、
H (S
е
S
| S)
S
を条件とする
の条件
をマルコフ情報源のエン
P (s i )H (S | s i )
si ОS
= -
е
si ОS
= -
P (s i )е P (s j | s i ) log P (s j | s i )
s j ОS
е
P (s i )P (s j | s i ) log P (s j | s i )
е
P (s j , s i ) log P (s j | s i )
si ,s j ОS
= -
si ,s j ОS
39
マルコフ情報源のエントロピー例
状態遷移確率行列
PB =
й1/ 4 3/ 4щ
к
ъ
к2/ 3 1/ 3 ъ
кл
ъ
ы
で定まるマルコフ情報源 S B のエントロピーを求める。
まず、定常分布
z
は以下で与えられる。
ж8 9 ц
z = (P (0), P (1)) = зз , ч
ч
и17 17 ш
状態０におけるエントロピー（０を条件とする条件付きエントロピー）
H (S B | 0) および状態１におけるエントロピー H (S B | 1)
を求める。
40
H (S B | 0) = - P (0 | 0) log P (0 | 0) - P (1 | 0) log P (1 | 0)
ж1 ч
ц
= H зз ч
и4 ш
; 0.811
０の時のエントロピー
H (S B | 1) = - P (0 | 1) log P (0 | 1) - P (1 | 1) log P (1 | 1)
ж1 ч
ц
з
= H з ч
и3 ш
; 0.918
１の時のエントロピー
\ H (S B | S B ) = P (0)H (S B | 0) + P (1)H (S B | 1)
8
ж1 ц
9
ч
=
H зз ч +
H
и4 ш 17
17
; 0.382 + 0.486
= 0.868
ж1 ц
зз ч
ч
и3 ш
マルコフ情報源のエントロピー
41
マルコフ情報源のエントロピーの意味
1
4
P (0)
P (1)
０状態の一種の
存在確率
１状態の一種の
存在確率
0
3
4
H (S B | 0)
2
3
０状態において、
記号出力に注目し
た平均情報量
1
1
3
H (S B | 1)
１状態において、
記号出力に注目し
た平均情報量
42
イメージ
０を取ったら次は０の箱から取り、１を取ったら次は１の箱からと
る。取った玉は元に戻す。（前のスライドに対応する。）
マルコフ情報源
0
1
1
1
SB
0
0
1
43
練習
次の状態遷移確率行列で表される情報源のエントロピーを求めよ。
（１）
（２）
й2/ 5 3/ 5щ
к
ъ
P1 = к
ъ
кл1/ 2 1/ 2 ъ
ы
й1/ 2 1/ 2
щ
0
к
ъ
к
ъ
P2 = к 0
1/ 3 2 / 3ъ
к
ъ
к3 / 4
ъ
0 1/ 4 ъ
кл
ы
44
マルコフ情報源のエントロピーの性質
S
S
マルコフ情報源
に対して、随伴情報源を
とす
る。このとき、随伴情報源のエントロピーは、マルコフ情報源
のエントロピー以上である。すなわち、次式が成り立つ。
H (S | S ) Ј H (S )
出現確率は同じでも、マルコフ情報源の方は記号の
現れ方に制限がある。（すなわち、記号の出現の予測
が無記憶情報源比べて行いやすい。）したがって、
マルコフ情報源の方が平均情報量が少なくなる。
45
随伴情報源のエントロピー例
й1/ 4 3/ 4щ
к
ъ
PB = к
ъ
の随伴情報源は
2/
3
1/
3
кл
ъ
ы
м
0
,
1 ьп
п
п
п
SB = н
э
п
п
8
/
17
,
9
/
17
п
п
о
ю
である。
したがて、エントロピー H (S B ) は次式で求められる。
ж8 ч
ц
H (S B ) = H зз ч ; 0.997
и17 ш
\ 0.868 ; H (S B | S B ) Ј H (S B ) ; 0.997
46
練習
（１）
（２）
次の状態遷移確率行列で現されるマルコフ情報源
の随伴情報源のエントロピーを求めよ。
й2/ 5 3/ 5щ
к
ъ
P1 = к
ъ
кл1/ 2 1/ 2 ъ
ы
й1/ 2 1/ 2
щ
0
к
ъ
к
ъ
P2 = к 0
1/ 3 2 / 3ъ
к
ъ
к3 / 4
ъ
0 1/ 4 ъ
кл
ы
47
情報源の分類
48
情報源の分類図
情報源
無記憶
情報源
記憶のある情報源
マルコフ情報源
エルゴード
マルコフ情報源
正規マル
コフ情報
源
周期的
情報源
を含む
過渡的な情
報源を含む
49
様々なマルコフ情報源
エルゴード
マルコフ情報源
a1
b1
a2
c1
b2
a3
a4
過渡的な情
報源
b4
b3
周期的
情報源
c3
c2
非周期的情
報源
矢印には０より大きい確率が割り当てられている。
50
エルゴード性
定義：エルゴード性
集合平均と時間平均が等しい性質をエルゴード性という。
[集合平均]＝[時間平均]
エルゴード性を持つ情報源をエルゴード情報源という。
集合平均
時間軸
t1
時間平均
t1
t2
t3
51
サイコロ D i を振ったときの目を情報源と考えると、
エルゴード性を満たす。
t1
t2
L
tj
L
tT
D1
3
2
L
6
L
1
D2
2
4
L
1
L
5
M
M M
Di
5
M
M M
Dn
2
3
1
M
L
6
M
L
M
L
4
1
時間平均：
１つのサイ
コロを何回
も振ったと
きの平均
M
L
3
集合平均：1回に多数のサイ
コロを振ったときの平均
52
状態遷移行列による判別
йp11
к
кp21
P = кк
кM
кp
кл n 1
йp (t )11
к
к (t )
кp 21
t
P = кк
к M
к (t )
кp n 1
л
p1n щ
ъ
p2 n ъ
ъ
Mъ
ъ
pnn ъ
ъ
ы
p12 L
p22 L
O
O
L
L
p (t )12 L
p (t )22 L
O
O
L
L
щ
p (t )1n ъ
(t ) ъ
p 2n ъ
ъ
Mъ
ъ
ъ
(t )
p nn ъ
ы
pij = P (s j | si )
前の記号 s i のときに次の
記号 s j を生成する確率。
添え字の順序に注意する。
t
P = P
gP42gL444
gP
1444
43
t個
遷移を t 回繰り返すときの
遷移確率。
53
過渡的なマルコフ情報源
定義：過渡的な情報源
十分な時間経過の後に、生成確率がすべて０に収束するよ
うな状態を持つマルコフ情報源を過渡的な情報源という。
過渡的な情報源
$ j , " i,
a1
a2
a3
t ® Ґ
й0
к
к0
к
P = к
к0
к
к0
л
Ю pij (t ) ® 0
p12
p13
0
p23
p32
0
0
0
0 щ
ъ
p24 ъ
ъ
p4 ъ
ъ
ъ
p44 ъ
ы
й0
к
к0
к
t
P = к
к0
к
к0
л
0
0
0
0
0
0
0
0
0щ
ъ
0ъ
ъ
0ъ
ъ
ъ
1ъ
ы
a4
過渡的
54
エルゴードマルコフ情報源
定義：エルゴード情報源
過渡的でない情報源をエルゴード情報源という。エルゴード
情報源はエルゴード性を満たす。
エルゴード情報源
" i, j , $ t ij ,
b1
b4
b2
b3
й0
к
кp21
к
P = к
к0
к
кp41
л
pij
p12
0
0
p23
0
0
0
p43
0 щ
ъ
0 ъ
ъ
p34 ъ
ъ
ъ
0 ъ
ы
周期的
(t ij )
P
> 0
й0
к
к ( to )
кp 21
= к
к0
к
к (t )
кp o 41
к
л
to
P
te
йp ( te )11
к
к
к0
= к
кp ( te )
к
31
к
к0
к
л
p ( to )12
0
0
p ( to ) 23
p ( to ) 32
0
0
p ( to ) 43
0
p ( t 3 )13
p ( te ) 22
0
0
p ( te ) 33
p ( te ) 42
0
щ
p ( to )14 ъ
ъ
0
ъ
ъ
p ( to ) 34 ъ
ъ
ъ
ъ
0
ъ
ы
щ
ъ
ъ
( te )
p 24 ъ
ъ
ъ
0
ъ
ъ
p ( te ) 44 ъ
ъ
ы
0
55
正規マルコフ情報源
定義：エルゴード情報源
十分な時間経過後、各状態からすべての状態への遷移確率
が０より大きいマルコフ情報源を正規マルコフ情報源という。
正規マルコフ情報源
pij (t ) > 0
" i, j , $ t ,
йp
к 11
к
P = кp21
к
кp31
кл
c1
c3
c2
p12
0
p32
0щ
ъ
ъ
p23 ъ
ъ
0ъ
ъ
ы
йp (t )
к 11
к (t )
t
P = кp 21
к
к (t )
клp 31
p (t )12
p (t )22
p (t ) 32
p (t )13 щ
ъ
ъ
(t )
p 23 ъ
ъ
(t ) ъ
p 33 ъ
ы
全ての確率は非零
56
練習
次の遷移行列で表わされるマルコフ情報源の種類が、
過渡的、周期的、正規マルコフ情報源のいずれかを答えよ。
（１）
（２）
й0
к
к0.2
к
P = к
к0
к
к0.5
л
й0.3
к
к0.6
к
P = к
к0
к
к0
л
0.6 0.1 0.3щ
ъ
0
0.5 0 ъ
ъ
ъ
0.7 0
0.3ъ
ъ
0
0.5 0 ъ
ы
0.5 0.2 0 щ
ъ
0
0
0.4 ъ
ъ
ъ
0
0.7 0.3 ъ
ъ
0
0.5 0.5 ъ
ы
57