Transcript 상호정보

<정보이론(Information Theory)>
제8장 채널의 특성과 상호정보
 채널과 정보의 전달
 정보채널과 채널관계식
 이진 대칭채널
(BSC : binary symmetric channel)
 신호시스템의 Entropy
 시스템 상호정보
 채널과 정보의 전달
 채널의 정보전달
- 전송(transmission) : 공간적 채널의 정보전달
- 저장(storage) : 시간적 채널의 정보전달
필연적으로 잡음(noise)/오류(error)를 발생
 채널의 분석
- 상호정보(mutual information)
• a priori Entropy (채널 통과 이전의 정보량)
• a posteriori Entropy (채널 통과 이후의 정보량)
 a priori Entropy – a posteriori Entropy = mutual information
(수신측에서 획득한 정보량, 채널을 통하여 전송된 정보량)
- 채널용량(channel capacity)
• 상호정보의 최대값
• 채널을 통하여 전송할 수 있는 최대 정보량
정보공학 2001-1
 정보채널과 채널관계식 (1)
 정보채널(information channel)
Tx. Alphabet A = {a1, a2, …, aq} : q symbols
Rx. Alphabet B = {b1, b2, …, bs} : s symbols
정보채널의 표현
Pi , j  P(b j | ai ), for all i  1,2, , q & j  1,2, , s
Forward conditional prob. 혹은 Channel prob.
수신
B
송신
A
··
·
P(bj | ai)
··
·
ai
b1
b2
정보채널
··
·
a1
a2
bj
··
·
··
·
aq
bs
정보공학 2001-1
 정보채널과 채널관계식 (2)
 채널 천이행렬(channel transition matrix)
 P11
P
21
T 
 

 Pq1
where Pij
P12  P1s 
P22  P2 s 
q  s matrix

Pij
 

Pq 2  Pqs 
 P (b j | ai ), for i  1,2,  , q, j  1,2,  , s
 i-th row : 송신심볼 ai에 관계
j-th column : 수신심볼 bj에 관계
 임의의 행(row)의 합은 언제나 1 이다.
 하나의 송신심볼 ai에 대하여 반드시 하나의 수신심볼 bj가 결정된다.
 채널관계식(channel relationship)
Pat T  Pbt
정보공학 2001-1
이진대칭채널(BSC: binary symmetric channel)
 채널모델(BSC model)
A
P00
0
P01
P10
P11
1
B
0
1
A  B  {0,1}
P00  P (b  0 | a  0)
P11  P (b  1 | a  1)
P01  P (b  1 | a  0)
P10  P (b  0 | a  1)
※ When P00=P11 & P01=P10  the channel is a BSC
 채널관계식(channel relationship)
P T P
t
a
t
b
 P Q
 p q 
 Pr{b  0} Pr{b  1}

Q P 
where p  Pr{a  0}, q  Pr{a  1},
& P  P00  P11 , Q  P01  P10
정보공학 2001-1
 신호시스템의 Entropy (1)
송신
A
수신
B
a1
a2
b1
b2
정보채널
··
·
··
·
··
·
P(bj | ai)
bj
··
·
··
·
ai
aq
bs
 송신 엔트로피(Tx. Entropy) : H ( A) 
q
1
p(ai ) log

p(ai )
i 1
s
1
 수신 엔트로피(Rx. Entropy) : H ( B )   p (b j ) log
p (b j )
j 1
정보공학 2001-1
 신호시스템의 Entropy (2)
 전향조건 엔트로피(forward conditional Entropy)
q
s
H ( B | A)   P (ai , b j ) log
i 1 j 1
1
P (b j | ai )
 후향조건 엔트로피(backward conditional Entropy)
q
s
1
H ( A | B )   P (ai , b j ) log
P ( ai | b j )
i 1 j 1
 결합 엔트로피(joint Entropy)
q
s
1
H ( A, B )    P ( ai , b j ) log
P ( ai , b j )
i 1 j 1
H ( A, B)  H ( A)  H ( B | A)
 H ( B)  H ( A | B)
정보공학 2001-1
 시스템 상호정보 (1)
 상호정보의 도입
1) a priori prob. p(ai)에 의한 정보량
I { p ( ai )}  log
1
: 송신심볼이 원래 소유한 정보량
p ( ai )
2) a posteriori prob. P(ai | bj) 에 의한 정보량
1
: 수신심볼 bj가 수신된 후,
I {P(ai | b j )}  log
P(ai | b j )
송신심볼 ai가 소유한 정보량
3) 상호정보(mutual information)
I (ai ; b j )  I { p(ai )}  I {P(ai | b j )}
P(ai | b j )
1
1
 log
 log
 log
p (ai )
P(ai | b j )
p (ai )
※ 상호정보 : “채널을 통하여 전송된 정보의 양”
정보공학 2001-1
 시스템 상호정보 (2)
 상호정보의 성질
1. I (ai ; b j )  I (b j ; ai ), for all i, j
2. I (ai ; b j )  I { p(ai )}
3. ai , b j 가 서로 독립이면(all noise channel)
 I (ai ; b j )  0
1. 채널의 특성은 송신측과 수신측을 교환하더라도
동일하다.
2. 전송된 정보량은 원래 소유하고 있던 정보량을
초과할 수 없다.
3. “All noise channel”에 의하여 전송되는 정보량은
0 이다.
정보공학 2001-1
 시스템 상호정보 (3)
 조건 상호정보(conditional mutual information)
1) 후향 조건 상호정보(backward conditional mutual information)
q
I ( A; b j )   P ( ai | b j ) I (ai ; b j )
i 1
q
P ( ai , b j )
i 1
p (ai ) p (b j )
  P (ai | b j ) log
※ 하나의 심볼 bj를 수신한 경우,
전송된 평균 정보량
2) 전향 조건 상호정보(forward conditional mutual information)
s
I ( ai ; B )   P (b j | ai ) I ( ai ; b j )
j 1
s
P ( ai , b j )
j 1
p ( ai ) p (b j )
  P (b j | ai ) log
※ 하나의 심볼 ai 를 채널에 인가
한 경우, 전송된 평균 정보량
정보공학 2001-1
 시스템 상호정보 (4)
 시스템 상호정보(system mutual information)
q
s
I ( A; B )   P (ai , b j ) log
i 1 j 1
P (ai , b j )
p (ai ) p (b j )
<시스템 상호정보의 성질>
1. I ( A; B )  0, 등호는 A, B가 독립일 때 성립
2. I ( A; B )  I ( B; A)
3. I ( A; B )  H ( A)  H ( B )  H ( A, B )
 H ( A)  H ( A | B )  H ( B )  H ( B | A)
 H ( A | B )  H ( A)  I ( A; B )
&
H ( B | A)  H ( B )  I ( A; B )
4. 0  H ( A | B )  H ( A), 0  H ( B | A)  H ( B )
H ( A, B )  H ( A)  H ( B )
정보공학 2001-1