Transcript 第二章音频信息的获取与处理

第二章 音频信息的获取与处理
• 数字音频基础
• 音频卡的工作原理
• 音频编码基础和标准
• 音乐合成和MIDI规范
2.1.1 模拟音频和数字音频
基本概念:
• 声音：是通过空气传播的一种连续的
波。
基本参数：频率和幅度。
• 模拟音频：把在时间和幅度上都是连
续的信号称为模拟音频。
•数字音频：语音信号用数字表示时，
称数字音频。
2.1.2数字音频的采样和量化
• 采样：当把模拟声音变成数字声音时，
需要每隔一个时间间隔在模拟声音波
形上取一个幅度值，称之为采样。
•采样定理：
fc ≥2f 或者Tc≤T/2
• 量化：把某一幅度范围内的电压用一
个数字表示，称之为量化。
• 单声道和双声道
2.1.3
数字音频的文件格式
• WAV Microsoft公司的波形音频文件
格式。
• VOC Creative公司的波形音频文件
格式。
• MIDI
MIDI文件格式。
• PCM
数据序列
• RMI Microsoft公司的MIDI文件格式，
它可以包括图片、标记和文本。
• SND NeXT计算机的波形音频文件格
式。
• AIF
Apple计算机的波形音频文件格
式。
2.1.4
音频信号的特点
• 音频信号是时间依赖的连续媒体；
• 理想的合成声音应是立体声 ；
• 对语音信号的处理，要抽取语意等其
它信息。
音频信号相应的处理如下：
• 人与计算机通信(计算机接收音频信号)。
• 计算机与人通信(计算机输出音频)。
• 人—计算机—人通信
• 3D音频
• Wav文件的字节数/每秒
=采样频率（Hz）ⅹ量化位数（位） ⅹ
声道数/8
用44.1kHz的采样频率对声波进行采样，
每个采样点的量化位数选用16位，则
录制1秒的立体声节目，其波形文件所
需的存储容量是多少？
解：44100 ⅹ16 ⅹ2/8=176400（字节）
2.2.1 音频卡的功能和分类
•
•
•
•
•
录制、编辑和回放数字声音文件
控制声音源的音量，混合后再数字化
进行压缩以节省磁盘空间
文语转换和语音识别
功能接口
1.录制与播放
• 数字化音频采样频率范围：8~44.1kHz
量化位：8位/16位
通道数：立体声/单声道
• 编码与压缩：
基本编码方法：PCM
压缩编码方法：ADPCM
实时硬件压缩/软件压缩
• 音频录放的自动动态滤波
• 录音声源
• 输出功率放大器
2.其他接口
（1）MIDI接口
（2）CD-ROM接口
（3）游戏棒接口
声卡的技术指标
•
•
•
•
•
•
•
采样率与量化位数
FM合成与波形表
兼容性
外围接口
音频压缩
DSP芯片
软件支持
声卡的分类
2.2.3 音频卡的工作原理
•
•
•
•
声音的合成与处理
混合信号处理器
功率放大器
总线接口和控制器
2.2.4 SPDIF数字音频接口
• 概述
• 优势和不足
2.2.5 音频卡的发展和改进
•
•
•
•
•
•
•
改善声音质量
统一音频卡标准
简化安装的即插即用音频卡
三维环绕立体声
全双工声音处理
与通信技术的结合
单一芯片
2.3.1 音频编码基础和标准
1.时域信息的冗余度
• 幅度的非均匀分布
• 样本间的相关
• 周期之间的相关
• 基音之间的相关
• 静止系数
• 长时自相关函数
短时自相关
2.频域信息的冗余度
• 非均匀的长时功率谱密度
• 语音特有的短时功率谱密度
3.人的听觉感知机理
音频编码分类：
• 波形编码
脉冲编码调制
差分脉冲编码调制
自适应差分编码调制
参数编码
基于人的听觉特性的编码
2.3.2 音频编码标准
•
•
•
•
•
•
G.711
G.721
G.722
G.728
MPEG中的音频编码
AC-3编码和解码
练习与测试
1. 在数字音频信息获取与处理过程中，下述
顺序哪个是正确的？
（A）A/D变换、采样、压缩、存储、解压缩、
D/A变换
（B）采样、压缩、 A/D变换、存储、解压缩、
D/A变换
（C）采样、 A/D变换、压缩、存储、解压缩、
D/A变换
（D）采样、 D/A变换、压缩、存储、解压缩、
A/D变换
答案：C
2.4.1音乐合成
1.乐音三要素：
• 音高：声波的基频。
• 音色：声音的音质。
• 响度：对声音强度的衡量。
2.乐合成技术的种类
调频(FM)音乐合成技术：FM是使高频震荡波
的频率按调制信号规律变化的一种调制方
式。
波形表(Wavetable)音乐合成技术：乐器发出
的声音进行采样后，将数字音频信号存储在
ROM芯片或硬盘中，进行合成时将再将相应
乐器的波形记录播放出来，即波形表音乐合
成技术。
2.4.2 MIDI规范
MIDI的定义：
MIDI是乐器数字接口的缩写，泛指数
字音乐的国际标准。
• 乐谱：由音符序列、定时和称作合成
音色的乐器定义所组成。
• MIDI消息：乐谱的数字描述。
有关术语：
•
•
•
•
•
•
•
•
•
•
MIDI文件
通道
音序器
合成器
乐器
复音
音色
音轨
合成音色映射器
通道映射
MIDI和多媒体PC
• MIDI规范允许MIDI装置以预先说明的
方式通信。
• MIDI标准中规定MPC包括一个内部合
成器和标准MIDI端口。
MIDI接口规范
• 由一个接收器和一个发送器组成
• MIDI设备有三种端口：输入口、输出
口、转送口
• MIDI键盘有128键
• MIDI有16个声道
• MIDI消息
什么时候用MIDI？
• 长时间高质量的音乐；
• 以音乐作背景音响效果，同时从CDROM中装载其他数据；
• 以音乐作背景音响效果，同时播放波
形音频或实现文-语转换，以实现音乐
和语音同时输出。
MIDI 1.0的技术规范
• MIDI规定合成器、音序器、微机和鼓
乐等能通过一个标准的接口连接。
练习与测试
1. 什么情况下需要使用MIDI？
（1）没有足够的硬盘存储波形文件时
（2）用音乐作背景效果
（3）想连续播放音乐时
（4）想音乐质量更好时
A.(1) B.(1)(2) C. (1)(2)(4)
D. 全部
答案：B
2.数字音频采样和量化过程所用的主要
硬件是（ ）。
A.数字编码器
B.数字解码器
C.模拟到数字的转换器（A/D转换器）
D.数字到模拟的转换器（D/A转换器）
答案：C
音乐合成技术有
和
考核要求：
• 掌握：什么是模拟音频、数字音频；
什么是采样、量化及基本原理。
• 理解：音频卡的工作原理；音乐合成
的原理。
• 理解：数字音频编码的标准。