Transcript 信道容量

“如果我们只做能
力范围以内的事，
则永远没有进步。”
－爱迪生
2020/4/28
1
第四章 信道容量
内容提要
信道对于信息率的容纳并不是无限制的
，它不仅与物理信道本身的特性有关，还与
信道输入信号的统计特性有关，它有一个极
限值，即信道容量，信道容量是有关信道的
一个很重要的物理量。这一章研究信道，研
究在信道中传输的每个符号所携带的信息量
，并定义信道容量。
2020/4/28
2
4 信道容量



信道的功能：以信号形式传输和存储信息。
信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式
和信源输出信号的统计特性有关。
信道容量研究内容：在什么条件下，通过信道的信息量最大。
4.1 信道的数学模型和分类
4.2 单符号离散信道的信道容量
4.3 多符号离散信道
4.4 多用户信道
4.5 连续信道
4.6 信道编码定理
2020/4/28
3
引言

什么是信道？


信道的作用


信道是传送信息的载体——信号所通过的通道。信息是抽象
的，信道则是具体的。比如：二人对话，二人间的空气就是
信道；打电话，电话线就是信道；看电视，听收音机，收、
发间的空间就是信道。
在信息系统中信道主要用于传输与存储信息，而在通信系统
中则主要用于传输。
研究信道的目的

在通信系统中研究信道，主要是为了描述、度量、分析不同
类型信道，计算其容量，即极限传输能力，并分析其特性。
2020/4/28
4
4.1 信道的数学模型和分类
(1) 一般信道的数学模型
(2) 信道的分类
(3) 实际的信道
2020/4/28
5
(1) 一般信道的数学模型
① 信道的输入输出关系
② 一般信道的数学模型
2020/4/28
6
① 信道的输入输出关系



信号在信道中传输会引入噪声或干扰，它使信号
通过信道后产生错误和失真；
信道的输入和输出之间一般不是确定的函数关系，
而是统计依赖关系；
知道了信道的输入信号、输出信号以及它们之间
的依赖关系，信道的全部特性就确定了。一般来说，
输入和输出信号都是广义的时间连续的随机信号，可用随
机过程来描述。
2020/4/28
7
② 一般信道的数学模型



信道的一般数学模型如下图所示
数学模型的数学符号表示 {X P(Y/X) Y}
实际信道带宽总是有限的，所以输入和输出信号总可以分
解成随机序列来研究。随机序列中每个随机变量的取值可以是可
数的离散值，也可以是不可数的连续值。
X
P(Y/X)
Y
图3.1.1 一般信道的数学模型
2020/4/28
8
(2) 信道的分类
① 根据输入输出随机信号的特点分类
② 根据输入输出随机变量个数的多少分类
③ 根据输入输出个数分类
④ 根据信道上有无干扰分类
⑤ 根据信道有无记忆特性分类
2020/4/28
9
① 根据输入输出随机信号的特点分类



离散信道：输入、输出随机变量都取离散值。
连续信道：输入、输出随机变量都取连续值。
半离散/半连续信道：输入变量取离散值而输
出变量取连续值，或反之。
2020/4/28
10
② 根据输入输出随机变量个数的多少分类


单符号信道：输入和输出端都只用一个随机变量
来表示。
多符号信道：输入和输出端用随机变量序列/随机
矢量来表示。
2020/4/28
11
③ 根据输入输出个数分类


单用户信道：只有一个输入和一个输出的信道。
多用户信道：有多个输入和多个输出的信道。
2020/4/28
12
④ 根据信道上有无干扰分类

有干扰信道：存在干扰或噪声或两者都有的信
道。实际信道一般都是有干扰信道。

无干扰信道：不存在干扰或噪声，或干扰和噪
声可忽略不计的信道。计算机和外存设备之间的信道
可近似看作是无干扰信道。
2020/4/28
13
⑤ 根据信道有无记忆特性分类

无记忆信道：输出仅与当前输入有关，而与过
去输入无关的信道。

有记忆信道：信道输出不仅与当前输入有关，
还与过去输入和（或）过去输出有关。
2020/4/28
14
2020/4/28

明线


对称平衡电缆（市内）


固体介质电缆小同轴（长途）



中同轴（长途）





长波



中波

短波



超短波



移动


1  传输媒介类型空气介质



视距接力

微波 
对流层


散射

电离层





卫星



光波


波导
混合介质


光缆




15

离散
无记忆


连续
信号类型


半离散

有记忆


半连续

无干扰：干扰少到可忽略；




无源热噪声
2〉信号与干扰类型





线性叠加干扰
有源散弹噪声



脉冲噪声

干扰类型



有干扰 

交调



乘性干扰 衰落





码间干扰






恒参信道（时不变信道）
3〉信道参量类型
变参信道（时变信道）
二用户信道（点对点通信）
4〉用户类型
多用户信道（通信网）
2020/4/28
16
(3) 实际的信道


实际信道的带宽总是有限的，所以输入和输出信
号总可以分解成随机序列来研究。
一个实际信道可同时具有多种属性。
最简单的信道是单符号离散信道。
2020/4/28
17
4.2 单符号离散信道的信道容量
4.2.1 信道容量定义
4.2.2 几种特殊离散信道的信道容量
4.2.3 离散信道容量的一般计算方法
2020/4/28
18
4.2.1 信道容量定义
(1) 单符号离散信道的数学模型
(2) 信息传输率
(3) 信道容量
(4) 信道基本符号
(5) 结论
2020/4/28
19
(1) 单符号离散信道的数学模型
① 信道模型
② 信道统计特性
2020/4/28
20
① 信道模型


设输入X∈{x1,x2,…,xi,…,xn}
输出Y∈{y1,y2,…,yj,…,ym}
其信道模型如下图所示。
2020/4/28
21
② 信道统计特性




信道统计特性描述：由信道转移概率描述。
信道转移概率/信道传递概率：条件概率p(yj /xi)。
信道特性表示：用信道转移概率矩阵，简称信道矩阵。
反信道矩阵：由条件概率p(xi /yj)表示。
2020/4/28
22
(2) 信道的信息传输率

定义： 消息在信道的传输过程中，单位时间
内所传输的信息量，称为消息在信道中的信
息传输速率，简称为信息率，通常用R表示。


2020/4/28
当信息量单位用比特、时间单位为码元或符号
或符号序列等所占用的时间时，信息传输速率
的量纲为比特/码元（或比特/符号、比特/符号
序列等），通常用R表示；
当信息量单位用比特、时间单位为秒时，信息
传输速率的量纲为 bit/s 或bps（bit per
second），通常用Rt表示。
23
(2) 信道的信息传输率


消息在无扰离散信道上传输不会损失信息量，
所以在这种信道上的信息传输速率就等于信
源的时间熵，即
Rt = Ht
bit/s
平均互信息量实质上就是量纲为比特/码元
（或比特/符号、比特/符号序列等）的信息
传输速率。如果改变其时间单位，则有
1
Rt  I ( X; Y)
t
t为1码元（或符号、符号序列等）所占用的时间，主
单位为s。
2020/4/28
24
(2) 信道的信息传输率




如果信源熵为H(X)，希望在信道输出端接收的信息量就
是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。
信道的信息传输率：就是平均互信息 R=I(X;Y)。
输出端Y往往只能获得关于输入X的部分信息，这是由于
平均互信息性质决定的：I(X;Y)≤H(X)。
I(X;Y)是信源输入概率分布p(xi)和信道转移概率p(yj /xi)的
二元函数：
2020/4/28
25
(3) 信道容量


当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。
调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已
知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某
一种信源），使信道所能传送的信息率为最大。

信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。

单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则
单位时间的信道容量为
Ct实际是信道的最大信息传输速率。
2020/4/28
26
(4) 信道基本符号


定义：信道基本符号是指信道上允许
传送的符号，是信源编码器的输出。
例如：二进制信道只有1、0两个基本
符号；多进制信道有多个基本符号，
如16进制信道包括0~ F 这16种基本符
号。
2020/4/28
27
(5) 结 论



C和Ct都是求平均互信息I(X;Y)的条件极大值问题，
当输入信源概率分布p(xi)调整好以后， C和Ct已
与p(xi)无关，而仅仅是信道转移概率的函数，只
与信道统计特性有关；
信道容量是完全描述信道特性的参量；
信道容量是信道能够传送的最大信息量。
2020/4/28
28
4.2.2 几种特殊离散信道的信道容量
(1) 离散无噪信道的信道容量
(2) 强对称离散信道的信道容量
(3) 对称离散信道的信道容量
(4) 准对称离散信道的信道容量
2020/4/28
29
(1) 离散无噪信道的信道容量
① 具有一一对应关系的无噪信道
② 具有扩展性能的无噪信道
③ 具有归并性能的无噪信道
④ 小结
2020/4/28
30
① 具有一一对应关系的无噪信道

这种信道如
右图所示

对应的信道
矩阵是
2020/4/28
31






因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的
对应关系：
已知X后Y没有不确定性，噪声熵 H(Y/X)=0；
反之，收到Y后，X也不存在不确定性，损失熵 H(X/Y)=0;
故有 I(X;Y)=H(X)=H(Y)。
接收到符号Y后，平均获得的信息量就是信源发出每个符号
所含有的平均信息量，信道中无信息损失，而且噪声熵也
等于零，输出端Y的不确定性没有增加。严格地讲，这种输
入输出有确定的一一对应关系的信道，应称为无噪无损信
道。
当信源呈等概率分布时，具有一一对应确定关系的无噪信
道达到信道容量
2020/4/28
32
② 具有扩展性能的无噪信道


此信道的举例如右图所示。
n<m，输入X的符号集个
数小于输出Y的符号集个
数。其信道矩阵如下：
2020/4/28
33






虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中
只有一个非零元素：
已知Y后，X不再有任何不确定度，损失熵 H(X/Y)=0， I(X;Y)= H(X) H(X/Y)= H(X) 。
例如，输出端收到y2后可以确定输入端发送的是x1，收到y7后可以确
定输入端发送的是x3，等等。
接收到符号Y后，对发送的符号X是完全确定的，损失熵为
零，但噪声熵不为零。这类信道被称为有噪无损信道。
若信道的传递矩阵中每一列有一个也仅有一个非零元素时，
该信道一定是有噪无损信道，其平均互信息等于信源熵。
即信道容量为
与一一对应信道不同的是，此时输入端符号熵小于输出端
符号熵， H(X) < H(Y)。
2020/4/28
34
③ 具有归并性能的无噪信道


这种信道如下图所示。
n>m，输入X的符号集个数大于输出Y的符号集个数。其
信道矩阵如下：
2020/4/28
35



信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元
素，但每列的非零元素个数大于1：
已知某一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。
但是收到某一个yj后，对应的xi不完全确定，信道损失熵 H(X/Y)≠0。

在这类信道中，接受到符号Y后不能完全消除对X的不确
定性，信息有损失。但输出端Y的平均不确定性因噪声熵
等于零而没有增加，所以这类信道称为无噪有损信道也称
确定信道。
信道容量为

这种信道输入端符号熵大于输出端符号熵，H(X)>H(Y)。

注意：在求信道容量时，调整的始终是输入端的概率分

布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出
端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的
概率分布p(xi) ，而不能用输出端的概率分布p(yj)来代替。
2020/4/28
36
举例：下图的信道容量是log23=1.585(比特/信道符号)，
求要达到这一信道容量对应的信源概率分布。
 由信道矩阵得 p(y1)= p(x1)×1+ p(x2)×1
p(y2)= p(x3)×1+ p(x4)×1
p(y3)= p(x5)×1
 只要p(y1)= p(y2)= p(y3)= (1/3)，H(Y)达到最大值，即达到
信道容量C。
 此时使p(y1)= p(y2)= p(y3)= (1/3)的信源概率分布
{p(xi)},i=1,2,3,4,5存在，但不是惟一的。
 这种信道的输入符号熵大于
输出符号熵，即H(X)> H(Y)。
2020/4/28
37
④结 论


综合上述三种情况，若严格区分的话，凡损失熵等于
零的信道称为无损信道；凡噪声熵等于零的信道称为
无噪信道，而一一对应的无噪信道则为无噪无损信道。
对于无损信道，其信息传输率R就是输入信源X输出每
个符号携带的信息量(信源熵H(X))，因此其信道容量
为
式中假设输入信源X的符号共有n个，所以等概率分布
时信源熵最大。
2020/4/28
38
④结 论


对于无噪信道，其信道容量为
式中假设输出信源Y的符号共有m个，等概率分布时
H(Y)最大,而且一定能找到一种输入分布使得输出符号
Y达到等概率分布。
可见这些信道的信道容量C只决定于信道的输入符号
数n，或输出符号数m，与信源无关。
2020/4/28
39
(2) 强对称离散信道的信道容量
① 什么是强对称离散信道
② 强对称信道矩阵特点
③ 强对称离散信道的信道容量
④ 输入是什么概率分布时达到信道容量
⑤ 二进制均匀信道
2020/4/28
40
① 什么是强对称离散信道

单符号离散信道的X和Y取值均由n个不同符号组成，即
X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}

信道矩阵为

这种信道称为强对称/均匀信道。
这类信道中：总的错误概率是p，对称平均地分配给(n-1)个输出符号。
信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列



之和不一定等于1。
2020/4/28
41
② 强对称信道矩阵特点

强对称信道矩阵，它的每一行和每一
列都是同一集合各个元素的不同排列。
由平均互信息定义：

Hni的意义：是固定X=xi时对Y求和，相当于在信道矩阵中选定了某

一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每
一行都是同一集合的不同排列，所以

当xi不同时，Hni只是求和顺序不同，求和结果完全一样。
所以Hni与X无关，是一个常数。
2020/4/28
42
③ 强对称离散信道的信道容量

因此

如何达到信道容量：求一种输入分布使H(Y)取最大值。



现已知输出符号集Y共有n个符号，则H(Y)≤log2n。根据最大离散熵定理，
只有当p(yj)= (1/n)，即输出端呈等概率分布时， H(Y)才达到最大值
log2n 。
要获得这一最大值，可通过公式
寻找相应的输入概率分布；
一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率
分布。但强对称离散信道存在。
2020/4/28
43
④ 输入是什么概率分布时达到信道容量

强对称离散信道的输入和输出之间概率关系可用矩阵表示为

信道矩阵中的每一行都是由同一集合
中的诸元素的不同排列组成，所以保
证了当输入符号X是等概率分布，
即p(xi)=(1/n)时，输出符号Y一定是等概率分布，这时H(Y)=log2n。相应
的信道容量为
2020/4/28
44

结论：当信道输入呈等概率分布时，强对称离散信
道能够传输最大的平均信息量，即达到信道容量。
这个信道容量只与信道的输出符号数n和相应信道矩阵中
的任一行矢量有关。
2020/4/28
45
⑤ 二进制均匀信道



当n=2时的强对称离散信道就是二进制均匀信道。
二进制均匀信道
的信道容量为：
二进制均匀信道容量
曲线如右图所示。
2020/4/28
46
(3) 对称离散信道的信道容量
① 可排列性
② 对称离散信道定义
③ 对称离散信道的信道容量
2020/4/28
47
① 可排列性

行可排列：一个矩阵的每一行都是同一集合Q{q1,q2,…,qm}
中诸元素的不同排列。

列可排列：一个矩阵的每一列都是同一集合P{p1,p2,…,pn}
中诸元素的不同排列。

矩阵可排列/具有可排列性：一个矩阵的行和列都是可排
列的。
2020/4/28
48
② 对称离散信道定义






对称离散信道：信道矩阵具有可排列性。
行、列集合的特点
当m<n时，Q是P的子集。
当m>n时，P是Q的子集。
当m≠n时，Q和P两个集合中，一个必定是另一个的子集。
因为矩阵中的每一个元素既是行集合Q中的元素，又是
列集合P中的元素。
当m=n时，Q和P中的所有元素重合，Q和P是同一集合。
2020/4/28
49

举例：
2020/4/28
50
③ 对称离散信道的信道容量

平均互信息
2020/4/28
51


对称离散信道的信道容量与强对称的形式相同，只是这
里m≠n。
由于对称信道的特点，X等概率分布时，Y也是等概率分
布，从而使Y的熵达到最大值log2m，即信道容量。
2020/4/28
52
(4) 准对称离散信道的信道容量


准对称离散信道定义：一个n行m列单符号离散信道矩阵
[P]的行可排列，列不可排列。但是矩阵中的m列可分成S
个不相交的子集，各子集分别有m1,m2,…,ms个元素
(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列组成的子矩阵
[P]k具有可排列性。
举例
两个子矩阵均是可排列的，故信道[P]是准对称信道。
2020/4/28
53

由行的可排列性，得信道容量
＃只要使输出随机变量呈等概率分布，上式第一项即可达到
最大值，从而达到信道容量C。但是由于[ P] 中各列不具有
可排列性，要使p ( y j )=1/ m, 则可能使输入概率分布p ( xi )的
某些概率出现负值。
＃为了在p ( xi )非负的情况下使H (Y )达到最大值，可将H (Y )中
的m项分成s个子集M 1 , M 2 ,
元素（m1  m2 
2020/4/28
, M s，各子集分别有m1 , m2 ,
, ms 个
 ms =m），则
54
m
s
H (Y )   p( y j ) log 2 p( y j )  
j 1


k 1 p ( y j )M k

p ( y j )M1
p ( y j ) log 2 p ( y j )

p( y j ) log 2 p( y j )

p ( y j )M s
p ( y j ) log 2 p ( y j )
令第k 个集合中概率的平均值
p ( yk ) 

p ( y j )M k
p( y j )
mk
k  1, 2,
,s
因为p ( yk ) / p( y j )  0,以及 ln x  x  1( x  0), log 2 x  ln x log 2 e

p ( y j )M k
p ( yk )
p ( y j ) log 2

p( y j )

p ( y j )M k
 p ( yk ) 
p( y j ) 
 1 log 2 e
 p ( y j ) 
 [ p ( yk )mk 
2020/4/28

p ( y j )M k
p( y j )]  0
55
故有

p ( y j )M k
即

p ( y j )M k
p ( y j ) log 2 p ( yk ) 
p ( y j ) log 2 p ( y j )  

p ( y j )M k

p ( y j )M k
p ( y j ) log 2 p ( y j )
p ( y j ) log 2 p ( yk )
  log 2 p ( yk )[mk p ( yk )]
  mk p ( yk ) log 2 p ( yk )
把子集M k中的p ( y j )变成其均值p ( yk )，将使第k 个子集中的熵


   p ( y j ) log 2 p ( y j )  达到最大。由于子矩阵[ P ]k 具有可排
 p ( y j )M k

列性，只要信源X呈等概率分布，即可使第k个子集中的输出概
率相等，即达到其均值p ( yk )。
2020/4/28
56
如果H (Y )中的每一项都达到最大值，则输出Y的熵达到
最大，即
s
H (Y )   mk p ( yk ) log 2 p ( yk )
k 1

因此，相应的准对称离散信道容量为
2020/4/28
57
 12
例：
 P   1
4
1
4
1
8
1
2
1
8

分成互不相交的两个子矩阵
1
8
1
8
 18

 P2    1
1
2
8
1 1 1  3
则p ( y1 )     
2 2 4 8
 12
 P1    1
4
1.8112
1
4

1
8
1
8
1 1 1  1
p ( y2 )     
2 8 8  8
1.75
1 1 1 1
C   mk p ( yk ) log 2 p ( yk )  H  , , , 
 2 4 8 8
k 1
可计算得C=0. 0612
bi t / symbol
2
2020/4/28
58
Any Questions！
2020/4/28
59
典型无扰离散信道的信道容量
1. 均匀编码信道的信道容量

定义： 基本符号时间等长的信道称为均匀
编码信道，这种等长的基本符号称为码元。

2020/4/28
码元通常是持续时间为b秒的D进制脉冲
（Pulse），D进制表示该码元有D种等间隔数
值。
60
典型无扰离散信道的信道容量
例4.1 用8kHz的取样速率对模拟信号取样，若
对每一样值做256 级量化且样值是各态历经
的，求传输此信号的信道容量。
解：由题意可知，每秒钟有8000个样值，即n
=8000（信源消息），信道基本符号数D
=256，故每秒钟构成的不同消息的总数目
为N = 2568000，有
8000
log 256
Ct 
 8000  log 256  64 kbps
T
这就是传送PCM信号需要的信道容量。
2020/4/28
61
典型无扰离散信道的信道容量
一般地，若每个信道基本符号的长度为b秒，每秒钟
内信道上可传送的信道基本符号数为n，则n =1/b；T
秒钟内信道上可构成的不同消息数为N(T)=DnT，其中
nT为T 秒钟内信道上可传送的信道基本符号数。于是
Ct = nlog D
bps
(4.1)
如果不以秒而是以一个码元的时间作为标准，则
C = Ct / n = log D
2020/4/28
bit/码元时间
(4.2)
62
典型无扰离散信道的信道容量
2. 无固定约束的不均匀编码信道的信
道容量
无固定约束的不均匀编码信道的基本符号是等幅的不等长
脉冲，用脉冲占有时间的不同来携带信息。
例4.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量，主要是求在T时间内能构成的不同消息
数N(T)。
若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的
倍数，则PTM脉冲宽度量化为有限种信道基本符号。
设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占
用时间分别为：t1, t2, …, tD ；则在时间T内可能构成的
符号总数N (T)有如下表达式：
2020/4/28
63
典型无扰离散信道的信道容量
(续)
N (T )  a1      a 2    
   a D    
       a1        a 2
(4.3)
        aD
 N (T  t1 )  N T  t 2     N (T  t D )
式中第1行的表示除a1外的D – 1个信道基本
符号的全排列，其余类推。利用递推的方法或其它
方法可得
C = log rmax bit /单位码元时间
(4.4)
其中rmax是N (T)的特征方程
 t1
t2
tD
r  r    r  1  0 (4.5)
的最大正实根。
2020/4/28
64
典型无扰离散信道的信道容量
3. 有固定约束的不均匀编码信道的信
道容量


假如编码不满足遍历性，即由转移不受限制
变为转移受限制，传输它的信道就成为有固
定约束的不均匀编码信道。
传输莫尔斯（Morse）电码的信道是一种典
型的有固定约束的不均匀编码信道，下面通
过对它的分析来看这种信道的信道容量。
2020/4/28
65
典型无扰离散信道的信道容量

例4.3 电报员发报用Morse电码；Morse电码由点、划、
字母间隔和单词间隔四种基本符号构成，见表4.1，表
中的“＋”表示按键合上，“－”表示按键断开，分
别相应于发声与不发声状态；试求Morse信道的信道
容量。
基本符号
构成
持续时间 具体实现
点
＋－
t1 =2
清脆响一短声
划
＋＋ ＋－
t2 =4
响一长声，声长三倍点
字母间隔
―――
t3 =3
3个单位码元时间不发声
单词间隔
――――――
t4 = 6
6个单位码元时间不发声
表4.1 Morse电码的构成表
2020/4/28
66
典型无扰离散信道的信道容量
解 通过点、划可构成无穷多种组合，形成明码或密码。
设四种基本符号分别为a1, a2, a3, a4，点、划为状态1，字
母及单词间隔作为状态2，t >6的间隔均看作单词间隔。
由于发报期间，不允许出现2个及2个以上的字母间隔
或单词间隔，即“间隔”不能连用，因此Morse信道存在
有固定约束，其状态转移图为图4.2。
a1
a3
a4
状态1
a1
a2
状态2
a2
图4.2 例4.3的状态转移图
2020/4/28
67
典型无扰离散信道的信道容量
先求在时间T内从状态1转移到状态2或从状态1、2
转移到状态1的各种可能消息的总数目，分别用
N1(T)和N2(T)表示。则
N 2 (T )  N 1 (T  b12( a3 ) )  N 1 (T  b12( a4 ) )
(4.6)
N1 (T )  N1 (T  b111 )  N1 (T  b112 )  N 2 (T  b211 )  N 2 (T  b212 )
(a )
(a )
(a )
(a )
(4.7)
(a )
N
(
T

b
式中 1
12 ) 表示在T时间内发的最后一个符号
是a3并使状态从状态1改变到状态2的各种可能消息
的总数，而a3用的时间为b12；其余类推。
3
2020/4/28
68
典型无扰离散信道的信道容量
推广之，设从状态i到状态j发的符号为ak，所用的时
a
间为 bij k ，则
b11 —从状态1到状态1，有两种可能： b11( a )，b11( a )
b21 —从状态2到状态1，有两种可能： b21( a )，b21( a )
b12 —从状态1到状态2，有两种可能： b12( a )，b12( a )
b22 —从状态2到状态2，无此可能。
根据表4.1，有
a1
b11a1  b21
2
2020/4/28
a2
b11a2  b21
4
1
2
1
2
3
4
b12a3  3, b12a4  6
(4.8)
69
典型无扰离散信道的信道容量
在T时间里构成的消息总数N(T)为
N (T) = N1 (T) + N2 (T)
(4.9)
上式又是一个线性差分方程，由这个差分方程，
可得
logN (T )
(4.10)
C  lim
 logWmax
T 
T
式中Wmax 为差分方程的特征方程的最大正实根。因
此，求出这个最大正实根，也就求出了C。采用迭代
法，略去中间过程，可解得，Wmax=1.453 ，故有
C = log1.453 = 0.539 比特/符号时间
2020/4/28
70