Transcript 信息率失真函数
第七章
信息率
失真函数
发展独立思考和独立判断的
一般能力，应当始终放在首位，
而不应当把获得专业知识放在
首位。
－爱因斯坦
2015/4/8
1
第七章
信息率
失真函数
第七章 信息率失真函数
7.1 基本概念
7.2 离散信源的信息率失真函数
7.3 连续信源的信息率失真函数
7.4 信息率失真函数与信息价值
7.5 信道容量与信息率失真函数的比较
7.6 保真度准则下的信源编码定理
7.7 信息率函数与信息价值
7.8 信息论“三大定理”总结
2015/4/8
2
第七章
信息率
失真函数
7.1 基本概念
7.1.1 引言
7.1.2 失真度与平均失真度
7.1.3 信息率失真函数的定义
7.1.4 信息率失真函数的性质
2015/4/8
3
第七章
信息率
失真函数
7.1 基本概念
2015/4/8
在前面几章的讨论中，其基本出发点都是如何保
证信息的无失真传输。
但在许多实际应用中，人们并不要求完全无失真
地恢复消息，而是只要满足一定的条件，近似地
恢复信源发出的消息就可以了。
然而，什么是允许的失真？如何对失真进行描述？
信源输出信息率被压缩的最大程度是多少？信息
率失真理论回答了这些问题，其中香农的限失真
编码定理定量地描述了失真，研究了信息率与失
真的关系，论述了在限失真范围内的信源编码问
题，已成为量化、数据转换、频带压缩和数据压
缩等现代通信技术的理论基础。
4
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.1 引
(1) “消息完全无失真传送”的可实现性
信道编码定理：无论何种信道，只要信息率R小于
信道容量C，总能找到一种编码，使在信道上能以任
意小的错误概率和任意接近于C的传输率来传送信息。
反之，若R>C，则传输总要失真。
完全无失真传送不可实现：
2015/4/8
言
实际的信源常常是连续的，信息率无限大，要无
失真传送要求信息率R为无穷大；
实际信道带宽是有限的，所以信道容量受限制。
要想无失真传输，所需的信息率大大超过信道容
量R>>C。
5
第七章
信息率
失真函数
7.1.1 引
言
7.1 (2) 实际中允许一定程度的失真
基 技术发展的需要
随着科学技术的发展，数字系统应用得越来越广泛，这就需要传
本
送、存储和处理大量的数据。为了提高传输和处理效率，往往需
概
要对数据压缩，这样也会带来一定的信息损失。
念
人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对
2015/4/8
浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据
库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、
或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要
想方设法压缩给定消息 集合占用的空间域、时间域和频率域资
源。
如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，
16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测
量船每年就可勘测15000Km，数据流之大可见一斑。
6
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.1 引
实际生活中的需要
2015/4/8
言
实际生活中，人们一般并不要求获得完全无失真的消
息，通常只要求近似地再现原始消息，即允许一定的
失真存在。
例如打电话：即使语音信号有一些失真，接电话的人
也能听懂。人耳接收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的
“视觉暂留性”，实际上只要每秒放映24幅静态画面。
有些失真没有必要完全消除。
7
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.1 引
(3) 信息率失真理论
信息率失真函数
2015/4/8
言
香农定义了信息率失真函数R(D)。
定理指出：在允许一定失真度D的情况下，信源输
出的信息率可压缩到R(D)。
信息率失真理论是量化（模数转换）、数模转换、频
带压缩和数据压缩的理论基础。
8
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.1 引
信息率失真函数极小值问题
2015/4/8
言
I(X;Y)是P(X)和P(Y/X)的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y)变成了P(X)的函数。
在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所
求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求
出的也是极大值，但求极值时还要一些其它的限制条件。
在讨论信息率时可规定：p(xi) ，变更p(yj /xi)来求平均互信息的
极值，称为信道容量对偶问题。由于I(X;Y)是p(yj /xi)的下凸函数，
所求的极值一定是极小值。但若X和Y相互统计独立(p(yj /xi)=
p(yj ))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，
这样求极小值就没意义了。
引入一个失真函数，计算在失真度一定的情况下信息率的极小
值就变得有意义了。
9
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
(1) 信息率与失真的关系
(2) 失真度
(3) 常用的失真函数
(4) 平均失真度
(5) N次扩展信道的平均失真度
10
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
(1) 信息率与失真的关
信道中固有的噪声和不可避免的干扰，使信源的消息
通过信道传输后造成误差和失真
误差或失真越大，接收者收到消息后对信源存在的不
确定性就越大，获得的信息量就越小，信道传输消息
所需的信息率也越小。
11
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
(2) 失真度
失真度
设离散无记忆信源为
12
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
对每一对(xi,yj)，指定一个非负函数
d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
称d(xi,yj)为单个符号的失真度/失真函数。表示信源
发出一个符号xi，在接收端再现yj所引起的误差或失
真。
13
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.2 失真度与平均失真度
失真矩阵
失真度还可表示成矩阵的形式
称[D]为失真矩阵。它是n×m阶矩阵。
连续信源和连续信道的失真函数
2015/4/8
在连续信源和连续信道情况下，失真度定义为
d(x,y)≥0
14
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.2 失真度与平均失真度
(3) 常用的失真函数
第一种
2015/4/8
当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以
定义失真度为0；
当i≠j时，用Y代表X就有误差。
这种定义认为对所有不同的i和j引起的误差都一样，所以定
义失真度常数a。
失真矩阵的特点是对角线上的元素均为0，对角线以外的其
它元素都为常数a。
15
第七章
信息率
失真函数
7.1.2 失真度与平均失真度
7.1
基
本
概
念
第二种：d(xi,yj)=(yj－xi)2
2015/4/8
当a=1时的失真函数称为汉明失真函数。
这种函数称为平方误差失真函数，失真矩阵称为平方误差
失真矩阵。
若信源符号代表输出信号的幅度值，则较大的幅度失真比
较小的幅度失真引起的错误更为严重，严重程度用平方表
示。
失真函数是根据人们的实际需要和失真引起的损失、风险、
主观感觉上的差别大小等因素人为规定的。
16
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
(4) 平均失真度
平均失真度定义
d(xi,yj)只能表示两个特定的具体符号xi和yj之间的
失真。
平均失真度：平均失真度为失真度的数学期望，
17
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
(5) N 次扩展信道的平均失真度
N次扩展
单符号离散无记忆信源X {x1,x2,…,xn}的N次扩展信源XN
=X1X2…XN ，在信道中的传递作用相当于单符号离散无记忆
信道的N次扩展信道，输出也是一个随机变量序列YN
=Y1Y2…YN 。
此时输入共有nN个不同的符号
信道的输出共有mN个不同的符号
18
第七章
信息率
失真函数
7.1.2 失真度与平均失真度
7.1
基
本
概
念
2015/4/8
定义离散无记忆信道{X P(Y/X) Y}的N次扩展信道的输入序列ai
和输出序列bj之间的失真函数为
上式说明：离散无记忆信道的N次扩展信道输入输出之间的失
真，等于输入序列ai中N个信源符号xi1,xi2,…,xiN各自通过信道
{X P(Y/X) Y} ，分别输出对应的N个信宿符号yj1,yj2,…,yjN后所
引起的N个单符号失真d(xik ,yjk)(k=1,2, …,N)之和。
19
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
N次扩展的失真度
定义N次离散无记忆扩展信源和信道的平均失真度
为
，则
20
第七章
信息率
失真函数
7.1.2 失真度与平均失真度
7.1
基
本
概
念
2015/4/8
“N次扩展”与“单符号”平均失真度的关系
由扩展信源和扩展信道的无记忆性有
21
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.2 失真度与平均失真度
2015/4/8
实际上，
(k=1,2, …,N)是同一信源X在N个不同
时刻通过同一信道{X P(Y/X) Y}所造成的平均失真
度，因此都等于单符号信源X通过信道{X P(Y/X) Y}
所造成的平均失真度，即
上式说明：离散无记忆N次扩展信源通过离散无记忆
N次扩展信道的平均失真度是单符号信源通过单符号
信道的平均失真度的N倍。
22
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.2 失真度与平均失真度
N次扩展的保真度准则
离散无记忆N次扩展信源通过离散无记忆N次扩展信
道的保真度准则为
23
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.3 信息率失真函数的定义
(1) 试验信道
(2) 信息率失真函数
(3) 求信息率失真函数的方法
(4) 研究信道编码和率失真函数的意义
24
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.3 信息率失真函数的定义
(1) 试验信道
单符号信源和单符号信道的试验信道
当固定信源（ P(X)已知），单个符号失真度也给定时，选
择信道使
。凡满足要求的信道称为D失真许可的试验
信道，简称试验信道。
所有试验信道构成的集合用PD来表示，即
N次扩展的试验信道
对于离散无记忆信源的N次扩展信源和离散无记忆信道
的N次扩展信道，其试验信道集合PD(N)为
2015/4/8
25
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.3 信息率失真函数的定义
(2) 信息率失真函数
单符号信源和单符号信道的信息率失真函数
在信源和失真度给定以后，PD是满足保真度准则
的
试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj /xi)的
下凸函数，所以在PD中一定可以找到某个试验信道，使
I(X;Y)达到最小，即
这个最小值R(D)称为信息率失真函数，简称率失真函数。
2015/4/8
在信源给定以后，总希望在允许一定失真的情况下，传送信
源所必须的信息率越小越好。从接收端来看，就是在满足保
真度准则
的条件下，寻找再现信源消息必须的最低平
均信息量，即平均互信息的最小值。
26
第七章
信息率
失真函数
7.1.3 信息率失真函数的定义
I(X;Y)
R(D)
0
P(Y/X)
信息率失真函数的示意图
2015/4/8
27
第七章
信息率
失真函数
7.1.3 信息率失真函数的定义
信息率失真函数的物理意义
信息率失真函数是在 D D 的前提下，信宿必须获得的
平均信息量的最小值，是信源必须输出的最小信息率。
信息传输速率本质上是描述信源特性的，因此R(D)也应
该是仅仅用于描述信源。
若信源消息经无失真编码后的信息传输速率为R，则在
保真度准则下信源编码输出的信息率就是R(D)，且
R(D) < R
说明在保真度准则条件下的信源编码比无失真情况得到
了压缩，同时R(D)是保真度条件下对信源进行压缩的极
限值，亦即信源信息率可压缩的最低限度，它仅取决于
信源特性和保真度要求，与信道特性无关。
2015/4/8
28
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.3 信息率失真函数的定义
“N次扩展”的信息率失真函数
2015/4/8
对于离散无记忆信源的N次扩展信源和离散无记忆
信道的N次扩展信道，在所有满足保真度准则
的N维试验信道集合中，一定可以寻找到某个信道
使平均互信息取最小值RN(D)，这个最小值称为它的
信息率失真函数。
由信源和信道的无记忆性，可以证明
RN(D)=NR(D)。
29
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.3 信息率失真函数的定义
(3) 求信息率失真函数的方法
对偶问题
平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，
又是信道传递概率p(yj /xi)的下凸函数。率失真函数
R(D)是在允许失真D和信源概率分布p(xi)已给的条件
下，求平均互信息的极小值（最小）问题，而信道容
量C是在信道特性p(yj /xi)已知的条件下求平均互信息
的极大值（最大）问题。这两个问题是对偶问题。
30
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.3 信息率失真函数的定义
求信道容量的方法
信道容量是假定信道固定的前提下，选择一种试验信
源，使信息率最大。一旦找到了这个信道容量，它就
与信源不再有关，而是信道特性的参量，随信道特性
的变化而变化。
31
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.3 信息率失真函数的定义
求信息率失真函数的方法
信息率失真函数R(D)是假定信源给定的情况下，在用
户可以容忍的失真度内再现信源消息所必须获得的最
小平均信息量。它反映的是信源可压缩程度。率失真
函数一旦找到，就与求极值过程中选择的试验信道不
再有关，而只是信源特性的参量。不同的信源，其
R(D)是不同的。
32
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.3 信息率失真函数的定义
(4) 研究信道编码和率失真函数的意义
研究信道容量的意义：在实际应用中，研究信道
容量是为了解决在已知信道中传送最大信息率问题。
目的是充分利用已给信道，使传输的信息量最大而发
生错误的概率任意小，以提高通信的可靠性。这就是
信道编码问题。
研究信息率失真函数的意义：研究信息率失真
函数是为了解决在已知信源和允许失真度D的条件下，
使信源必须传送给信宿的信息率最小。即用尽可能少
的码符号尽快地传送尽可能多的信源消息，以提高通
信的有效性。这是信源编码问题。
2015/4/8
33
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
(1) 率失真函数的定义域
什么是率失真函数的定义域
2015/4/8
允许平均失真度：率失真函数中的自变量D，也就
是人们规定的平均失真度
的上限值。
率失真函数的定义域问题就是在信源和失真函数已
知的情况下，讨论允许平均失真度D的最小和最大
值问题。
D的选取必须根据固定信源X的统计特性P(X)和选
定的失真函数d(xi , yj)，在平均失真度
的可能取
值范围内。
34
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
信源最小平均失真度Dmin
是非负函数d(xi , yj)的数学期望，也是一个非负
函数，显然其下限为0。因此允许平均失真度D的
下限也必然是0，这就是不允许有任何失真的情况。
允许平均失真度D能否达到其下限值0，与单个符
号的失真函数有关。
信源最小平均失真度Dmin ：对于每一个xi，找出一
个yj与之对应，使d(xi , yj)最小，不同的xi对应的最
小d(xi , yj)也不同。这相当于在失真矩阵的每一行找
出一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不
同。对所有这些不同的最小值求数学期望，就是信
源的最小平均失真度。
n
2015/4/8
Dmin p( xi ) min d ( xi , y j )
i 1
j
35
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.4 信息率失真函数的性质
只有当失真矩阵的每一行至少有一个0元素时，信
源的平均失真度才能达到下限值0。当Dmin=0时
（信源不允许任何失真存在），信息率至少应等于
信源输出的平均信息量（信源熵），即R(0)=H(X)。
连续信源有
。这时虽然信源熵是有
限的，但信息量是无穷大。实际信道容量总是有限
的，无失真传送这种连续信息是不可能的。只有当
允许失真（R(D)为有限值），传送才是可能的。
36
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
信源最大平均失真度Dmax
信源最大平均失真度Dmax ：必须的信息率越小，
容忍的失真就越大。当R(D)等于0时，对应的平均
失真最大，也就是函数R(D)定义域的上界值Dmax 。
信息率失真函数是平均互信息的极小值：
2015/4/8
当R(D) =0时，即平均互信息的极小值等于0；
当D>Dmax时，从数学意义上讲，因为R(D)是非负函数，
所以它仍只能等于0。这相当于输入X和输出Y统计独立。
意味着在接收端收不到信源发送的任何信息，与信源不
发送任何信息等效。或者说传送信源符号的信息率可以
压缩至0。
37
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
计算Dmax的值
令试验信道特性 p(yj /xi)= p(yj) (i=1,2,…,n) 这时X和Y相互独
立，等效于通信中断，因此I(X;Y) =0，即R(D)=0。
满足上式的试验信道有许多，相应地可求出许多平均失真值，
从中选取最小的一个，就是这类平均失真值的下界Dmax 。
m
n
n
j 1
i 1
Dmax min p( xi ) p( y j )d ( xi , y j ) min p( y j ) p( xi )d ( xi , y j )
p( y j )
p( y j )
j 1 i 1
n
令
D j p( xi )d ( xi , y j )
i 1
2015/4/8
m
m
则
Dmax min p( y j )D j
p( y j )
j 1
上式是用不同的概率分布{p(yj)}对Dj求数学期望，取数学期望
当中最小的一个作为Dmax 。
38
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
7.1
基
本
概
念
实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当
p(xi)和d(xi , yj)给定时，必可计算出Dj ，Dj随j的变化而变化，
p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中
最小的一个，可取p(ys)=1 ，其它p(yj)为0，这时Dj的线性分配
（数学期望）必然最小，即
1
p( y j )
0
js
js
Dmax min(D1 , D2 , , Dm )
m
n
m
n
j 1
i 1
Dmax min p( xi ) p( y j )d ( xi , y j ) min p( y j ) p( xi )d ( xi , y j )
p( y j )
p( y j )
j 1 i 1
n
令
D j p( xi )d ( xi , y j )
i 1
2015/4/8
m
则
Dmax min p( y j )D j
p( y j )
j 1
39
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
7.1
基
本
概
念
2015/4/8
40
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
[例4.1.1] 二元信源
计算Dmax 。
2015/4/8
，相应的失真矩阵
，
先计算Dj ：
所以
D1＝0.4α
D2=0.6α
Dmax=min(D1 , D2)=0.4α
41
第七章
信息率
失真函数
7.1
基
本
概
念
2015/4/8
7.1.4 信息率失真函数的性质
结 论
R(D)的定义域为
(Dmin, Dmax)；
一般情况下Dmin =0， R(Dmin)=H(X)；
当D≥Dmax时，
R(D)=0；
当Dmin<D<Dmax时， 0<R(D)<H(X)。
42
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
(2) 率失真函数对允许平均失真度的下凸性
对任一0≤ α ≤1和任意平均失真度D1，D2≤Dmax，有
R[α D1 +(1－ α) D2]≤ α R(D1)+(1－ α)R(D2)
(3) 率失真函数的单调递减和连续型
2015/4/8
由于函数R(D)具有凸状性，保证了它在定义域内是连
续的。
在Dmin<D<Dmax范围内R(D)单调递减。
43
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
R(D)函数的下凸性和连续性
性质： R (D)在定义域内是U型凸函数。若R (D)是D上的下凸
函数，那么在D10, D20及01的条件下，有
R[ D1 (1 ) D2 ] R( D1 ) (1 ) R( D2 )
证明 令{Pk(y|x)}是第k个试验信道的信道传输概率的集合，通过
这个试验信道的失真组合后的信息率失真函数为R(Dk)，此时
试验信道的输出消息符号集合为Yk 。那么根据信息率失真函
数的定义，有
I ( X ; Yk ) R( Dk )
E[d k ] Dk , k 1, 2,
上式中的dk是d (x, yk )的缩写，它表示在第k个试验信道
上任意一对(x, yk )符号之间的失真函数。
2015/4/8
44
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
(续)再规定一个新的试验信道，它的信道传输概率为
P( y | x) P1 ( y | x) (1 ) P2 ( y | x)
上式表明对同一对(x, y)符号，第1个试验信道的信道传输概
率为P1(y|x) ，第2个试验信道的信道传输概率为P2(y|x) ，那
么新的试验信道的信道传输概率为P(y|x)，且它是前两者的
内插值。同时，新的试验信道产生的平均失真函数E[d(x, y)]
满足：
E[d ( x, y)] E[d ( x, y1 )] (1 )E[d ( x, y2 )] D1 (1 ) D2
对于这个新的试验信道，其平均互信息量有可能满足R (D)
的定义，但也可能不满足，故用下列不等式表示
I ( X; Y) RD1 (1 ) D2
2015/4/8
45
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
(续)上式中等号表示满足R (D)的定义，大于号表示不
满足R (D)的定义。因为I (X; Y)是P(y| x)上的下凸函数，
故有
I ( X; Y) I ( X; Y1 ) (1 ) I ( X; Y2 )
再考虑到前面所取的两种试验信道都是能满足信息率失
真函数定义的信道，故分别有：
I ( X; Y1 ) R( D1 ) ， I ( X; Y2 ) R( D2 )
把这两式代入上式 ，即得
I ( X; Y) R( D1 ) (1 ) R( D2 )
综合前面
I ( X; Y) RD1 (1 ) D2
即可得证： R[ D (1 ) D ] R( D ) (1 ) R( D )
1
2
1
2
2015/4/8
46
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
R(D)函数的单调递减性
性质： 信息率失真函数R(D)在定义域内是单调递减的。
证明：因为容许的失真度越大，所要求的信息率(最小
值)越小，反之亦然，所以R(D)是D上的单调递减的连续
函数。证毕。
综上所述，可以得出如下结论：
（1）R (D)是非负的实数，即 R (D) 0。其定义域为
(Dmin, Dmax) ，其值为R (D) 。当D≥ Dmax 时，R (D) 0。
（2）R (D)是关于D的下凸函数，因而也是关于 D的连续
函数。
（3）R (D)是关于D的严格递减函数。
2015/4/8
47
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
R(D)
R(D)
H(X)
H(X)
R(D1)
0
D1
(a) 离散系统
Dmax
D
0
Dmax
D
(b) 连续系统
信息率失真函数的曲线
2015/4/8
48
第七章
信息率
失真函数
7.1.4 信息率失真函数的性质
由以上分析可见，当规定了允许的失真D，又
找到了适当的失真函数di j ，就可以找到该失真条
件下的最小信息率R (D)，这个最小信息率是一
个极限值。在满足保真度准则的前提下，用不同
方法进行数据压缩时，R(D)函数就是压缩程度的
衡量，由R (D)可知是否还有压缩的潜力，潜力
有多大，因此对它的研究很有实际意义。
2015/4/8
49
第七章
信息率
失真函数
7.1
基
本
概
念
7.1.4 信息率失真函数的性质
图说明：
• R(0) = H(X) ， R(Dmax) =0，
决定了曲线边缘上的两个点；
•
在0和Dmax之间， R(D)是单
调递减的下凸函数；
•
在连续信源时，当D→0时，
R(D)→∞ ，曲线将不与
R(D)轴相交。
2015/4/8
50
第七章
信息率
失真函数
Any Questions！
2015/4/8
51