chapter03-图象的压缩

Download Report

Transcript chapter03-图象的压缩

第3章 图像的压缩
《多媒体通信》
1
引言
数字图像的数据量
图像的分辨率越高、图像深度越深,则数字化后的图像
效果越逼真、图像数据量越大。如果是按照像素点及其
深度映射的图像数据大小可用下面的公式来估算:
图像数据量=图像的总像素×图像深度 / 8 (Byte)
一幅640×480、真彩色的图像,其文件大小约为:
640×480×24/ 8≈ 1MByte;
《多媒体通信》
2
表4-1 各种应用的码率
应用
种类
象素 行象 行数
比特 素数 /帧
帧数
/秒
亮色比
比特/秒
(压缩前)
比特/
(压缩后)
HDTV
8
1920 1080
30
4:1:1
746Mbps
20~25Mbps
电视
CCIR601
8
720
480
30
4:1:1
124Mbps
4~8Mbps
会议电视
CIF
8
352
288
30
4:1:1
36.5Mbps
1.5~2Mbps
桌上电视
QCIF
8
176
144
30
4:1:1
9.1Mbps
128kbps
可视电话
8
128
112
30
4:1:1
5.2Mbps
56kbps
《多媒体通信》
3
视频数据量的大小
未压缩的视频数据量(单位:Gbytes )
1 sec
1 min
1 hour
1000 hours
1920x1080
0.19
11.20
671.85
671,846.40
1280x720
0.08
4.98
298.60
298,598.40
640x480
0.03
1.66
99.53
99,532.80
320x240
0.01
0.41
24.88
24,883.20
160x120
0.00
0.10
6.22
6,220.80
视频图像的尺寸
1280x720 (1.77)
640x480 (1.33)
《多媒体通信》
320x240
160x120
4
视频比特率的计算
width * height * depth * fps
= bits/sec
compression factor
Width:图像宽度 ~ pixels
(160, 320, 640, 720, 1280, …)
Height:图像高度~pixels
(120, 240, 480, 485, 720,, …)
Depth:颜色深度 ~ bits
(1, 4, 8, 15, 16, 24, …)
Fps:帧率 ~ frames per second (5, 15, 20, 24, 30, …)
compression factor:压缩因子
(1, 6, 24, …)
《多媒体通信》
5
图像数字化之后的数据量非常大,在因特
网上传输时很费时间,在盘上存储时很占
“地盘”,因此就必须要对图像数据进行
压缩。
压缩的目的就是要满足存储容量和传输带宽的
要求,而付出的代价是大量的计算及一定的质
量损失。
几十年来,许多科技工作者一直在孜孜不倦地
寻找更有效的方法,用比较少的数据量表达原
始的图像。
《多媒体通信》
6
第一节:图像压缩的基本概念
1、图像数据的压缩基于两点:
图象数据的特征:原始图像信息存在着很大的
冗余度,
空间冗余:一帧数据之间存在着相关性,如相邻像
素之 间色彩的相关性等。
时间冗余:图像序列中两幅相邻的图像对应像素点
的值相近或相同,具有较大的时间相关性,反映为
时间冗余。即帧间的冗余。
《多媒体通信》
7
人的视觉特征:
在多媒体系统的应用领域中,人眼是图像信息的
接收端。因此,可利用人的视觉特性如:
对于边缘急剧变化不敏感(视觉掩盖效应);
以及人眼对图像的亮度信息敏感、对颜色分辨率弱的
特点;
利用人的视觉特征,可以实现高压缩比,而解压
缩后的图像信号仍有着满意的主观质量。
《多媒体通信》
8
2. 图像压缩中的一些基本概念
有损和无损压缩:
无损压缩也即压缩前和解压缩后的数据完全一致。
有损压缩意味着解压缩后的数据与压缩前的数据不
一致。在压缩的过程中要丢失一些人眼和人耳所不
敏感的图像或音频信息,而且丢失的信息不可恢复。
几乎所有高压缩的算法都采用有损压缩,这样才能达到低
数据率的目标。
一般的压缩算法都是这两种方法的组合
《多媒体通信》
9
帧内和帧间压缩:
帧 内 ( Intraframe ) 压 缩 也 称 为 空 间 压 缩 ( Spatial
compression)
当压缩一帧图像时,仅考虑本帧的数据而不考虑相
邻帧之间的冗余信息,这实际上与静态图像压缩类
似;
帧内一般采用有损压缩算法,由于帧内压缩时各个
帧之间没有相互关系,所以压缩后的视频数据仍可
以以帧为单位进行编辑;
帧内压缩一般达不到很高的压缩;
《多媒体通信》
10
帧间(Interframe)压缩
是基于许多视频或动画的连续前后两帧具有很大的
相关性,即连续的视频其相邻帧之间具有冗余信息,
根据这一特性,压缩相邻帧之间的冗余量就可以进
一步提高压缩量,减小压缩比。
帧 间 压 缩 也 称 为 时 间 压 缩 ( Temporal
compression),它通过比较时间轴上不同帧之间的
数据进行压缩。
帧差值(Frame differencing)算法是一种典型的时
间压缩法,它通过比较本帧与相邻帧之间的差异,
仅记录本帧与其相邻帧的差值,这样可以大大减少
数据量。
《多媒体通信》
11
对称和不对称编码:
对称性(symmetric)是压缩编码的一个关键特征。
对称意味着压缩和解压缩占用相同的计算处理能力和时间,
对称算法适合于实时压缩和传送视频,如视频会议应用就以
采用对称的压缩编码算法为好。
而在电子出版和其它多媒体应用中,一般是把视频预先压缩
处理好,尔后再播放,因此可以采用不对称(asymmetric)
编码。
不对称或非对称意味着压缩时需要花费大量的处理能力和时
间,而解压缩时则能较好地实时回放,也即以不同的速度进
行压缩和解压缩。
一般地说,压缩一段视频的时间比回放(解压缩)该视频的
时间要多得多。例如,压缩一段三分钟的视频片断可能需要
10多分钟的时间,而该片断实时回放时间只有三分钟。
《多媒体通信》
12
第二节:编码的主要步骤
滤波
取样
A/D
变换
压缩
编码
信道
编码
发送
滤波
D/A
变换
解压缩
信道
解码
接受
典型图像传输系统框图
《多媒体通信》
13
1、图像压缩的主要过程
信号分析
对未压缩的像素数据进行分析,对于不同的分析
方法,可以得到比如:预测误差、变换系数等
在这一步中并不直接得到压缩效果;
量化
压缩效果大多在此步得到;
量化精度决定图象的可损程度;
变长编码(VLC)
《多媒体通信》
14
(1)图象压缩编码中各步骤采用的主要方法:
信号分析
帧内
预测
块变换
子带滤波
量化
可变精度
矢量量化
变长编码
HUFFMAN
算术编码
(小波变换)
模型基分析和综合
分形基编码
帧间
运动估计
《多媒体通信》
15
(2)各部分的输入和输出
信号分析
输入:
未压缩的数据
量化
变长编码
有限种值
的离散数据
输出的压缩
数据
输出
预测误差
变换系数
分析模型和参数
《多媒体通信》
16
第三节:图象压缩中的信号分析
信号分析是图象压缩能否获得较高压缩
比的关键:
一般信号分析阶段,并不直接产生压缩效果,
但它可以得到适合压缩的数据;
一般属于无损压缩技术;
《多媒体通信》
17
根据信号分析方法的不同,可把图象编码分为:
第一代图象压缩编码技术——波形基编码法,
编码的实体是像素或像素块,不是按物体不同的内容划分不
同的编码实体;
这种编码方法基本上不考虑人的视觉系统对编码的影响;也
不考虑图像的内容;
第二代图象压缩编码方法:充分的利用人的视觉系统
的特性,实现对图象的压缩;
子带滤波(小波变换);
分形基的视频编码方法;
模型基的编码方法;
《多媒体通信》
18
1、预测编码
预测编码(DPCM)
预测编码是PCM编码方式的发展;
DPCM编码的对象不是像素的亮度抽样本身,
而是这个抽样值的预测值与实际值的差值;
图像在较大的范围内,图像的颜色虽不完全一致,
但变化不大,在这些区域中,相邻像素的像素值相
差很小,具有很大的相关性。
《多媒体通信》
19
预测编码的框图
—
量化
重建
+
重建
预测
预测
+
编码过程
解码过程
《多媒体通信》
20
预测编码的原理:
在相邻像素之间它们的差值很小,其概率
分布可以用像素之间的差值信号d的方差来
表示;
一般这个方差较小,所以其量化器的动态范围
可以缩小,量化分层的总数可以减少,所以与
PCM系统相比,每个像素点的编码比特数也少;
《多媒体通信》
21
DPCM相对PCM的增益为:
Gpc=Qx2/Qd2
Qx为信号方差;
Qd为预测误差的方差;
DPCM的优缺点:
优点:实现简单;
缺点:易出现误差扩散;
量化不当时容易产生“斜率过载”,“颗粒噪声”
等;
《多媒体通信》
22
2、变换编码
变换编码是目前图象编码中采用最广泛的
一种信号分析方法,基本步骤如下:
对图像数据进行时域到频域变换
一般是采用正交变换的方法,对图像的像素块进
行变换;
变换后的像素方块的能量集中在少数变换系
数上,而且在变换后数据块的左上角;
采用区域抽样法和区域编码法就可以用较小
的比特数来表示图象,实现压缩;
《多媒体通信》
23
DCT(离散余弦变换)是图象编码中采
用最多的正交变换方法
综合各方面的因素
效果(理论分析证明:KL正交变换可获最大增
益)
是否有快速算法
《多媒体通信》
24
DCT算法:
(2i  1)u
(2 j  1)v
 1 / 4c(u )c(v) Bi , j cos(
) cos(
)
16
16
i 0 j 0
7
DCTu ,v
7
for(0  u  7,0  v  7)
c(i ) 
1 / 2 (i  0)
1(1  i  7)
Bi , j为原始的8 * 8图象数据
DCTu ,v为DCT变换后的输出值
《多媒体通信》
25
正交变换编码的特点:
正交变换编码对信道误码较不敏感;
其编码后的数据,综合反映了各像素点的数据,
所以单个误码会分散到复原图象的各个像素点上;
缺点:产生方块效应
通过修改一个图像的数据的例子来说明
《多媒体通信》
26
3、空间-时间域变换
空间-时间域变换就是所谓的预测和变换
相混合的编码方法,主要应用于帧间编
码。
首先对图像内容进行判断,如果前后两帧很
相似,则编码器进行帧间预测(结合运动补
尝),消除时间冗余度;
对预测误差进行DCT变换编码,以消除空间
冗余度;
《多媒体通信》
27
—
变换编码
量化
反量化
IDCT
反变换编码
+
环路滤波
运动补偿
《多媒体通信》
28
4、新一代的信号分析
分析-综合的视频压缩算法,包括:
模型基图象编码
分形编码
小波变换
《多媒体通信》
29
(1)模型基图象序列编码
基本思想:
在发送端,利用图象分析模块对输入提取紧凑和
必要的描述信息;
在接收端,利用-图象综合模块重建原图象;
图象分析
编码器
已抽取的模型
模型
已量化的模型
图象综合
解码器
《多媒体通信》
30
(2)分形编码
分形编码属于模型编码的一种;
理论基础分形几何学;
某种形状、结构的局部或片断,可以有多种大小的相似形。
基本原理:
通过一些图像处理的方法:颜色分割、边缘检测、频谱分
析、纹理分析等方法,把图像分成一些子图像;
然后再分形集中查找这样的子图像(一般是一些迭代函
数);
存储相应的少量参数就可以表示图像,从而达到图像压缩
的目的;
《多媒体通信》
31
对图象信号分析的主要方法比较:
编码技术
被编码时图象的基本处
理单元
CONTENT
BASED
对称性
PCM
像素
NO
S(几乎相同)
DPCM
像素
NO
S
变换编码
像素块
NO
M(复杂)
矢量量化
像素块
NO
MM(很复杂)
小波
多精度滤波后的元素
NO
M
FRACTAL(分
形编码)
任意大小和形状的块
YES
MM
基于对象编码
移动目标
YES
MM
《多媒体通信》
32
第四节:JPEG压缩算法
1、JPEG算法概要
JPEG(Joint Photographic Experts Group)是一个由ISO和
IEC两个组织机构联合组成的一个专家组,负责制定静态
的数字图像数据压缩编码标准,这个专家组开发的算法
称为JPEG算法,并且成为国际上通用的标准,因此又称
为JPEG标准。
JPEG是一个适用范围很广的静态图像数据压缩标准,既
可用于灰度图像又可用于彩色图像。
为了在保证图像质量的前提下进一步提高压缩比,近年
来JPEG专家组正在制定JPEG 2000(简称JP 2000)标准,这
个标准中将采用小波变换(wavelet)算法。
《多媒体通信》
33
2、JPEG的两种基本压缩算法
一种是采用以离散余弦变换(DCT)为基础
的有损压缩算法
使用有损压缩算法时,在压缩比为25:1的情
况下,压缩后还原得到的图像与原始图像相
比较,非图像专家难于找出它们之间的区别,
因此得到了广泛的应用
另一种是采用以预测技术为基础的无损
压缩算法。
《多媒体通信》
34
3、JPEG压缩步骤
使用正向离散余弦变换(FDCT)把空间域
表示的图变换成频率域表示的图。
使用加权函数对DCT系数进行量化,这
个加权函数对于人的视觉系统是最佳的。
使用霍夫曼可变字长编码器对量化系数
进行编码。
《多媒体通信》
35
JPEG压缩编码-解压缩算法框图
《多媒体通信》
36
译码或者叫做解压缩的过程与压缩编码过
程正好相反。
JPEG算法与彩色空间无关
因此“RGB到YUV变换”和“YUV到RGB变
换”不包含在JPEG算法中。
JPEG算法处理的是单独的彩色分量图像
因此它可以压缩来自不同彩色空间的数据,如
RGB, YCbCr(YUV)和CMYK。
《多媒体通信》
37
4、JPEG算法的主要计算步骤
正向离散余弦变换(FDCT)。
量化(quantization)。
Z字形编码(zigzag scan)。
使 用 差 分 脉 冲 编 码 调 制 (differential pulse code
modulation,DPCM)对直流系数(DC)进行编码。
使用行程长度编码(run-length encoding,RLE)对交
流系数(AC)进行编码。
熵编码(entropy coding)。
《多媒体通信》
38
正向离散余弦变换(FDCT)
对每个单独的彩色图像分量,把整个分量图像分成8×8
的图像块,并作为两维离散余弦变换DCT的输入
(2i  1)u
(2 j  1)u
 1 / 4c(u )c(v) Bi , j cos(
) cos(
)
16
16
i 0 j 0
7
DCTu ,v
7
for(0  u  7,0  v  7)
c(i ) 
1 / 2 (i  0)
1(1  i  7)
Bi , j为原始的8 * 8图象数据
DCTu ,v为DCT变换后的输出值
《多媒体通信》
39
正向离散余弦变换(FDCT)
原始图象的一个8*8数据块
DCT变换后的数据
135 134 137 130 140 145 169 165
134 142 130 137 130 138 157 169
142 145 126 137 143 132 142 162
158 145 156 150 142 145 136 140
163 148 146 149 141 134 137 152
147 167 140 155 155 140 136 152
136 146 123 127 155 134 130 137
145 145 146 150 146 157 137 146
1152 -9 22 -5 16 -14 -8 -5
《多媒体通信》
-2 -32 25 -11 -6 14 -3 6
-9 -34 1 5 -13 -2 -3 2
7 -1 3 -2 -1 -3 -10 5
15 8 -5 1 -7 20 20 4
-12 2 -9 11 -3 -6 -1 11
15 -1 -3 -3 2 -4 -3 -5
-15 -6 10 4 9 -4 -4 7
40
DCT变换的物理意义
通过DCT变换,把能量集中在少数几个系数上;
对于DCT变换后的8*8数据,最左上角的数据为直流分
量,其它数据为交流分量;
变换后的数据,从左上角到右下角的数据,其所代表
的频率分量依次升高;
《多媒体通信》
41
量化
量化是对经过FDCT变换后的频率系数进行量化。
量化的目的是减小非“0”系数的幅度以及增加“0”值系
数的数目;
量化是图像质量下降的最主要原因;
量化的方法
对于直流分量采用均匀量化;
对于交流分量采用码表方式的非均匀量化;
《多媒体通信》
42
均匀量化
色度量化值表
《多媒体通信》
亮度量化值
43
量化的特殊性
量化步长是按照系数所在的位置和每种颜色分量的色调
值来确定。
由于人眼对亮度信号比对色差信号更敏感,所以一般采
用不同的量化表;
由于人眼对低频分量的图像比对高频分量的图像更敏感,
因此左上角的量化步距要比右下角的量化步距小。
《多媒体通信》
44
量化公式: li , j
DCTi , j / 8 for(i  0, j  0)
{
( DCTi , j * 8) /(q * Qi , j )其他
144 -1
量化后的DCT矩阵数据=
2
0
1
0
0
0
0
-3
2
2
-1
0
0
0
-1
-3
0
0
0
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
-1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
《多媒体通信》
45
Z字形编排
量化后的系数要重新编排,目的是为了
增加连续的“0”系数的个数,就是“0”
的游程长度
方法是按照Z字形的式样编排,如后图所示。
这样就把一个8*8的矩阵变成一个1*64的矢
量,频率较低的直流系数(DC)放在矢量
的顶部。
《多媒体通信》
46
Z变换顺序图
量化DCT系数的编排
《多媒体通信》
0
1
5
6
14
15
27
28
2
4
7
13
16
26
29
42
3
8
12
17
25
30
41
43
9
11
18
24
31
40
44
53
10
19
23
32
39
45
52
54
20
22
33
38
46
51
55
60
21
34
37
47
50
56
59
61
35
36
48
49
57
58
62
63
量化DCT系数的序号
47
直流系数编码
8*8图像块经过DCT变换之后得到的DC
直流系数有两个特点:
一是系数的数值比较大;
二是相邻8*8图像块的DC系数值变化不大;
根据这个特点,JPEG算法使用了差分脉
冲调制编码(DPCM)技术,对相邻图像块
之间量化DC系数的差值进行编码;
《多媒体通信》
48
交流系数的编码
量化AC系数的特点:
在Z变换后得到的1*64矢量中包含有许多“0”系
数,并且许多“0”是连续的,因此使用非常简
单和直观的游程长度编码(RLE)对它们进行编码。
JPEG使用了1个字节的高4位来表示连续“0”
的个数,而使用它的低4位来表示编码非“0”
系数的数值。
《多媒体通信》
49
RLE编码举例说明【run,length】
-1,0,-1,-4,2,0,2,-3,1,1,0,0,
-1,1,-1,0,0,0,1…
编 码 结 果 (0,-1),(1,-1),(0,-4),(0,2),(1,2),
(0,-3),(0,1),(0,1),(2,-1),(0,1),(0,-1), (3,1);
《多媒体通信》
50
熵编码
使用熵编码还可以对DPCM编码后的直
流DC系数和RLE编码后的交流AC系数作
进一步的压缩
在JPEG有损压缩算法中,使用霍夫曼编
码器来减少熵。
《多媒体通信》
51
第六节:MPEG数字视频技术
MPEG(Moving Picture Experts Group)是1988
年成立的一个专家组。
MPEG-1
这个专家组在1991年制定了一个MPEG-1国际标准,
其标准名称为“动态图像和伴音的编码--用于速率
小于每秒约1.5兆比特的数字存储媒体(Coding of
moving picture and associated audio--for digital
storage media at up to about 1.5Mbit / s)”。
数字存储媒体指:CD-ROM、硬盘和可擦写光盘等。
《多媒体通信》
52
MPEG-1的基本特点:
MPEG的视频codec最大压缩可达约1:200
其目标是要把目前的广播视频信号压缩到能够记
录在CD光盘上并能够用单速的光盘驱动器来播
放,并具有VHS的显示质量和高保真立体伴音效
果。
MPEG包括音频内容;
《多媒体通信》
53
1、MPEG-1数字视频格式
MPEG采用有损和不对称的压缩编码算法;
MPEG标准详细地说明了视频图像的压缩
和解压缩方法,以及播放MPEG数据所需
的图像与声音的同步;
MPEG标准包括三个部分:
MPEG视频(Video);
MPEG音频(Audio);
MPEG系统(System)。
《多媒体通信》
54
MPEG视频:
MPEG视频是标准的核心;
MPEG-1是为了适应在数字存储媒体如CD-ROM上
有效地存取视频图像而制定的标准;
CD-ROM 驱 动 器 的 数 据 传 输 率 不 会 低 于
150KB/s=1.2Mb/s ( 单 倍 速 ) , 而 容 量 不 会 低 于
650MB,MPEG-1算法就是针对这个速率开发的。
MPEG-1的的视窗尺寸为CCIR 601定义分辨率的二
分之一,可达到30fps或25fps的帧率;
它 采 用 多 种 压 缩 算 法 , 压 缩 后 的 数 据 率 为 1.2 -
3MB/s。因此可以实时播放存储在光盘上的数字视
频图像。
《多媒体通信》
55
MPEG音频:
MPEG-1标准支持高压缩的音频数据流,其采样率为
44、22和11KHz,16位量化。还原后声音质量接近于
原来的声音质量,如CD-DA的音质;
CA - DA 音 质 的 音 频 数 据 率 为 每 分 钟 约 10 兆 字 节
(10MB/min),等价于每秒约1.4兆位(1.4Mb/s),
这是单速CD-ROM的整个带宽!采用MPEG-1音频压
缩算法可以把单声道位速率降到0.192Mb/s,甚至更
低,而声音的质量又无明显的下降;
MPEG-1支持两个声道,可设置成单声道(mono)、
双声道(dual)、立体声(stereo)等;
目前在网络上广泛使用的MP3音频文件,就是利用
MPEG-1中的音频技术, 实现了1:10 甚至 1:12 的压
缩率,而且失真很小。
《多媒体通信》
56
MPEG系统:
系统层的基本功能:
回放时多个压缩数据流的同步;
合并多个压缩流成一个流(复用);
回放时初始化buffer
提供时间基准
——最终用来把数字电视图像和伴音复合成单一的、
位速率为1.5Mb/s的数据位流。
MPEG的数据位流分成内外两层,外层为系统层,
内层为压缩层。
系统层提供在一个系统中使用MPEG数据位流所必须的功
能,包括定时、复合和分离视频图像和伴音,以及在播放
期间图像和伴音的同步。
压缩层包含压缩的视频和伴音数据位流。
《多媒体通信》
57
在多种视频压缩算法中,MPEG是可提供低数据
率和高质量的最好算法。
MPEG-1已经为广大用户所采用,如VCD或小影
碟的发行等。其播放质量可以达到家用录像机
的水平。采用不同的编码参数,得到的MPEG-1
数据的质量也是不同的。
同时MPEG专家组推出了新的数字视频标准:
1993年的MPEG-2标准,在DVD采用的这种标准;
1997年的MPEG-4标准,网上视频服务应用多采用;
《多媒体通信》
58
2、MPEG视频压缩算法简介
压缩解压缩过程
源
显示
预处理
SIF格式
encoding
存储/传送
进一步处理
SIF格式
decoding
编码数据流
《多媒体通信》
59
压缩前的数据格式
SIF(Source Input Format):
SIF格式
分辨率
分辨率
标准帧率
(非正方形像素) (正方形像素) (帧/秒)
SIF@NTSC制式
352 × 240
320 × 240
29.97 Hz
SIF@PAL/SECAM
制式
352 × 288
384 × 288
25 Hz
图像数据的分层
图像(PICTURE)
片(SLICE)
宏块(16×16)
基本块(8×8)
《多媒体通信》
60
MPEG算法中的不同编码帧类型
《多媒体通信》
61
压缩过程中的图像类型
《多媒体通信》
62
Frame Order of MPEG
<Presentation>
Time
I
frame#
1
B
2
B
3
P
4
B
5
B
6
P
7
B
8
B
9
P
10
B
11
B
12
P
13
B
14
B
15
I
16
<Storage>
Decode
I
frame#
1
P
4
B
2
B
3
P
7
B
5
B
6
P
10
B
8
B
9
P
13
B
11
B
12
I
16
B
14
B
15
What are the frames required for decoding at time t ?
《多媒体通信》
63
I帧编码过程
DCT(离散余弦变换)
量化
变长编码(HUFFMAN编码)
与JPEG的编码过程基本相同
《多媒体通信》
64
P帧编码过程
运动估计
运动补偿和误差产生
DCT
量化
对运动矢量和残差系数进行变长编码
《多媒体通信》
65
B帧编码
过程与P帧相同;
不同的是:其运动估计和运动补偿的参照是
前后两副图像;
《多媒体通信》
66
MPEG编码器算法允许选择I图像的频率和位置。
I图像的频率是指每秒钟出现I图像的次数,位
置是指时间方向上帧所在的位置
一般情况下,I图像的频率为2。MPEG编码器也允
许在一对I图像或者P图像之间选择B图像的数目。
I图像、P图像和B图像数目的选择依据主要是根节
目的内容。例如:
对于快速运动的图像,I图像的频率可以选择高一些,B图
像的数目可以选择少一点;
对于慢速运动的图像I图像的频率可以低一点,而B图像的
数目可以选择多一点。
此外,在实际应用中还要考虑媒体的速率。
《多媒体通信》
67
一个典型的I、P、B图像安排如图所示。编码参数为:
帧内图像I的距离为N=15,预测图像(P)的距离为M=3。
MPEG电视帧编排
《多媒体通信》
68
I、P和B图像压缩后的大小如下表所示,单位为比特。从表中可
以看到,I帧图像的数据量最大,而B帧图像的数据量最小
图像类型
I
P
B
平均数据/
帧
MPEG-1 SIF 格式
(1.15 Mb/s)
150000
50000
20000
38000
MPEG-2 601 格式
(4.00 Mb/s)
400000
200000
80000
130000
MPEG三种图像的压缩后的典型值(比特)
《多媒体通信》
69
MPEG中的运动估计
预测图像的编码也是以图像宏块(macroblock)
为基本编码单元,一个宏块定义为I×J像素的
图像块,一般取16×16。
预测图像P使用两种类型的参数来表示:
一种参数是当前要编码的图像宏块与参考图像的宏
块之间的差值;
另一种参数是宏块的移动矢量。移动矢量的概念可
用下图表示;
《多媒体通信》
70
移动矢量的概念
《多媒体通信》
71
移动矢量的算法框图
《多媒体通信》
72
3、MPEG-1视频数据的回放
由于MPEG采用非对称的压缩算法
在PC机上用软件来进行MPEG压缩编码是很
费机时的;
一 般 用 专 门 的 MPEG 编 码 卡 , 用 硬 件 实 现
MPEG压缩编码。
要回放压缩的MPEG数据,首先要对其进行
解码,然后把解压缩后的大量数字视频数据
送往显示缓存进行屏幕显示。
《多媒体通信》
73
影响回放效果的因素主要有两点:
一是解码的速率
二是显示的速率。
解码的速度比编码的速度快得多,因此
在不同的MPC硬件基础上可以采用软件
解码和硬件解码两种方式。
《多媒体通信》
74
MPEG-1软件解码:
软件解码即采用软件算法的方式读取MPEG压缩数
据,对其进行解压缩并把解压缩后的数字视频数
据进行屏幕显示,所以MPEG解压缩软件也称为
MPEG播放软件。
采用软件解码的优点是它无需额外硬件的支持,
在MPC机上就可以播放MPEG数字视频,使用方便;
其缺点是解码的速度和解码后的视频质量完全取
决于MPC的处理能力。
如果MPC的处理速度和显示速度不够快,采用软件
解码播放MPEG数据时可能出现帧率不够、图像和
伴音不同步或者图像的“马赛克”现象(图像呈
块状)。
《多媒体通信》
75
图像压缩编码小结
图像压缩编码的意义和基本概念
图像压缩编码的基本步骤
信号分析
量化
变长编码
图像压缩编码举例
JPEG压缩算法
MPEG压缩算法
《多媒体通信》
76
思考题:
分析在多媒体通信中,图像从模拟的视
频信号经过数字化和压缩变为某种格式
的数字视频数据(以MPEG为例)的处理
过程中各个步骤的作用和目的,并指出
那些步骤利用了人的视觉特性;
《多媒体通信》
77