Transcript Лекция 3. Составляющие мультимедиа. Звук

Мультимедиа технологии.
Лекция 3. Составляющие мультимедиа. Звук
Антон Викторович Кудинов,
доцент кафедры ВТ
Содержание
Природа звука
 Оцифровка звука. Запись звука
 Обработка
 Сжатие
 Форматы хранения
 Объединение звука и изображения
 Методы синтеза звука
 MIDI

2
Природа звука
Отличается от всех цифровых средств информации
(визуальных)
Комбинация физических и психологических факторов
Сложно смоделировать
Не всегда нужен: легко раздражает




3
Два специальных типа звука
Музыка (имеет культурный статус)
Речь (имеет лингвистическое содержание)


Разработаны специальные представления речи
(особые алгоритмы сжатия) и музыки (команды)

4
Природа звука
Преобразование энергии в колебания воздуха или
другой упругой среды
Камертон – одна частота


Большинство звуков – сложной природы, можно
разложить на набор частотных компонентов
Частотный спектр - способ описания звука через
относительные амплитуды его частотных компонентов


5
Свойства звука
Высота – восприятие мозгом частоты колебаний
Длительность – восприятие продолжительности колебаний
Громкость – восприятие амплитуды колебаний
 единица измерения – децибел
 удвоение амплитуды звуковых колебаний соответствует
увеличению громкости на 6 децибел, и наоборот
Пространственная локализация – оценка направления на
источник звука и расстояния до него
Тембр – окраска звука. По тембрам отличают звуки
одинаковой высоты и громкости, но исполненные или на
разных инструментах, разными голосами, или на одном
инструменте разными способами, штрихами.





6
Особенности восприятия звука человеком
20 Гц – 20 кГц (средние)
Верхняя граница чувствительности снижается с
возрастом
Форму сигнала любого звука можно изобразить,
построив зависимость его амплитуды от времени
Иллюзии:








7
более громкий звук кажется более низким
сложные звуки кажутся более низкими, чем чистые
человек выделяет свое имя, произнесенное в шуме
стереофония
Цитата
«Зная об очевидной сложности акустических
сигналов, было бы наивно верить, что аналоговые
или цифровые технологии развились достаточно,
чтобы допускать точную запись и передачу того,
что мы слышим. Ситуацию еще более усложняет
то, что мы не знаем точного предела человеческого
восприятия. Очевидно одно: в лучшем случае, даже
при использовании самой сложной технологии, то,
что воспроизводится аудиосистемой, является
лишь аппроксимацией реального звука».
Кен С. Похлманн

8
Оцифровка звука

1. Преобразование звука в электрический сигнал

2. Аналогово-цифровое преобразование:


9
квантование
дискретизация
Дискретизация

Частота Найквиста для оцифровки звука:


Для разный целей:





f = 2 fmax = 2 * 20 кГц = 40 кГц
AudioCD – 44,1 кГц
передача через Internet – 22,05 кГц
запись речи – 11, 025 кГц
цифровые аудиоленты – 48 кГц
Используется частотный фильтр, удаляющий частоты
больше половины частоты дискретизации
10
Квантование





Количество уровней выбирается исходя из удобного
количества бит
Обычно – 16 бит, 65 536 уровней
Шум квантования
Минимальный уровень – 8 бит
Высококачественный звук – 24 бит (сложная схема
АЦП)
11
Шум квантования
12
Сжатие

сжатие речи





удаление пауз (амплитуда ниже заданного порога)
нелинейное квантование
адаптивная дифференциальная импульсно-кодовая
модуляция (16-32 Кбит/с)
кодирование с линейным предсказанием
сжатие на основе восприятия




13
отбрасывание данных, не влияющих на восприятие сигнала
сжатие на основе порога слышимости – психо-акустическая
модель
стандарт MPEG-1, разработанный для видео, хорошо
используется для аудио, имеет 3 уровня (3-й уровень – MP3)
аудио MPEG-2 – Advanced Audio Coding (AAC), лучше сжатие,
нет обратной совместимости
Форматы хранения и передачи





По платформам:

MacOS – AIFF (.aiff)

Windows – WAVE (.wav)

Unix – AU (.au, .snd)
MP3 – скорее алгоритм сжатия, может быть частью
других форматов
RealAudio (.ra, .ram) – для потокового аудио
MIDI (.mid)
MOD (.mod) – для хранения сэмплов,
платформонезависимый
14
Методы синтеза звука

таблично-волновой синтез (WaveTable, WT) – основан на
воспроизведении сэмплов – заранее записанных звучаний
реальных инструментов






15
сэмплы содержатся в ПЗУ звуковой платы, можно загружать в ОЗУ
изменение высоты звука через изменение скорости проигрывания
сэмпла
параллельное проигрывание разных сэмплов
дополнительная обработка звука (модуляция, фильтрация)
достоинства: реалистичность звучания классических инструментов,
простота получения звука
недостатки: жесткий набор заранее подготовленных тембров,
большие объёмы памяти для сэмплов, неодинаковое звучание
разных моделей синтезаторов из-за различающихся наборов
стандартных инструментов
Методы синтеза звука

частотная модуляция (Frequency Modulation, FM) –
синтез, основанный на использовании нескольких
генераторов сигнала с взаимной модуляцией




16
каждый генератор управляется схемой, регулирующей
частоту и амплитуду сигнала (оператор)
бывает двухоператорный (OPL2) и четырехоператорный
(OPL3) синтез
тембр звучания определяется
схемой соединения операторов
и параметрам и каждого
оператора
мах количество синтезируемых
тембров – зависит от числа
операторов и схемы
управления ими
Частотная модуляция


достоинства: не надо заранее записывать звуки
инструментов и хранить их в ПЗУ, велико
разнообразие получаемых звучаний, легко повторить
тембр на различных платах с совместимыми
синтезаторами
недостатки: трудно обеспечить достаточно
благозвучный тембр во всем диапазоне звучания,
имитация звучания реальных инструментов крайне
грубая, сложно организовать тонкое управление
операторами, из-за чего в звуковых платах
используется упрощенная схема с небольшим
диапазоном возможных звучаний
17
Выбор метода синтеза


Если в композиции нужен звук реальных
инструментов, лучше подходит метод табличноволнового синтеза
Для создания новых тембров более удобен метод
частотной модуляции, хотя возможности FMсинтезаторов звуковых плат достаточно ограничены
18
MIDI




Musical Instruments Digital Interface
по сравнению с цифровым звуком – как векторная
графика по сравнению с растровой
сокращенная форма записи музыки в цифровой форме
достоинства:




меньший объем памяти
более высокое качество произведения
можно редактировать на уровне отдельных нот, менять
скорость и тембр звучания и т.д.
недостатки:


19
зависимость от устройства воспроизведения
нельзя записать произвольный звук
MIDI-файл

представляет собой последовательность команд,
которыми записаны действия (например, нажатие
клавиши на пианино или поворот регулятора)



20
General MIDI (GM) –разработка фирмы Roland, 128
мелодических тембров с возможностью воспроизведения
звуков разной высоты и 46 ударных инструментов. За всеми
инструментами закреплены номера
General Standart (GS) – общий стандарт фирмы Roland,
включает дополнительные наборы мелодических и ударных
инструментов, а также различные эффекты (скрип двери,
звук мотора, крики и т.д.)
Extended General (XG) – новый стандарт фирмы Yamaha,
включающий несколько сотен мелодических и ударных
инструментов, ставший альтернативой формату GS
Спасибо за внимание!

21
[email protected]