Video Group CS MSU Graphics & Media Lab
Download
Report
Transcript Video Group CS MSU Graphics & Media Lab
Введение
в стереозрение
Дмитрий Ватолин
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus
План лекции
Восприятие трехмерного пространства
человеком. Источники информации
о глубине сцены
Стереоизображения. Параллакс. Запас
глубины. Комфортное восприятие стерео
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
2
Only for
Maxus
Восприятие пространства
Монокулярный стереоэффект
Последовательно-временной стереоэффект
Информация о глубине из вторичных факторов
пространственного зрения
Информация о глубине из перемещения
объектов сцены
Бинокулярный стереоэффект
Информация о глубине из разности
изображения с двух точек зрения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
3
Only for
Maxus
Монокулярный
стереоэффект
Наложение объектов
Линейная
перспектива:
относительные
размеры объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: i86.servimg.com, www.cs.cmu.edu/~dccrow
4
Only for
Maxus
Монокулярный
стереоэффект
Расположение объектов
относительно горизонта
Воздушная
перспектива:
рассеяние света
по мере удаления
от наблюдателя
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: www.3dtv.fr, Wikipedia
5
Only for
Maxus
Монокулярный
стереоэффект
Текстурные
градиенты
Тени, блики
и отражения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: cs.ru.nl/~ths, Wikipedia
6
Only for
Maxus
Последовательновременной стереоэффект
Смещение точки
зрения / камеры
Относительная
скорость объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: www.3dtv.fr, Wikipedia
7
Only for
Maxus
Бинокулярный
стереоэффект
Раскрытие наложения
объектов с одной
из точек зрения
Стереоскопический
параллакс
Расположение объектов
на сетчатке глаза
Различие формы объекта
с разных точек зрения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
8
Only for
Maxus
Бинокулярное зрение
Человек видит разные
картинки каждым из глаз
Их объединение дает
информацию о глубине
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: i.cmpnet.com
9
Only for
Maxus
Стереоизображения
Стереоизображение
делают из двух
обычных картинок
Разные изображения
для каждого глаза
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
10
Only for
Maxus
Конвергенция и дивергенция
При слежении за сопряженными точками
зрительные оси глаз могут сходиться или
расходиться в зависимости от удаленности
объекта
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
11
Only for
Maxus
Параллакс
Параллакс — величина взаимного
смещения сопряженных точек на сетчатках
глаз или в изображениях стереопары
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
12
Only for
Maxus
Параллакс в стерео
Параллакс — расстояние между картинками
для разных глаз на экране
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
13
Only for
Maxus
Параллакс в стерео
Параллакс — расстояние между картинками
для разных глаз на экране
положительный:
объект далеко
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
отрицательный:
объект рядом
Источник: lightillusion.com
14
Only for
Maxus
Положительный параллакс
Зрительные оси
пересекаются
за плоскостью
изображения
стереопары
Восприятие почти
не зависит от расстояния
зрителя до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
15
Only for
Maxus
Положительный параллакс
Максимальный параллакс:
Расстояние между
картинками равно
расстоянию между глазами
Зрительные оси
параллельны
Объекты находятся
на стереоскопической
бесконечности (воспринимаются
на расстоянии 10 метров)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
16
Only for
Maxus
Положительный параллакс
Параллакс больше
максимального:
Расстояние до объектов
еще больше
Глаза смотрят в разные
стороны — дискомфорт
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
17
Only for
Maxus
Отрицательный параллакс
Зрительные оси
пересекаются перед
плоскостью изображения
стереопары
Глубина задается
относительно расстояния
до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
18
Only for
Maxus
Отрицательный параллакс
Серединный отрицательный
параллакс
(MDP — Mid-Point Parallax):
Расстояние между
картинками равно
расстоянию между глазами
Расстояние до объекта
равно половине расстояния
до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
19
Only for
Maxus
Отрицательный параллакс
Максимальный
отрицательный параллакс:
зависит от времени
статичные объекты:
1-2x MDP
движущиеся объекты:
3-5x MDP
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
20
Only for
Maxus
Запас глубины
Доступная глубина =
(максимальный положительный
параллакс) + (максимальный
отрицательный параллакс)
В пикселях:
±30px для разрешения 2000px, 30”
–45—100 для сильного эффекта 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
21
Only for
Maxus
Зоны комфортного
восприятия стерео
Серый: невидимая зона
Красный: опасная зона
Оранжевый: быстрая зона
Большая нагрузка на глаза
Объект виден только одному
глазу — нагрузка
Зеленый: зона отдыха глаз
Рядом с плоскостью экрана
Комфортная для восприятия
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
22
Современные
стандарты 3D
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus
Содержание
Форматы 3D кино
Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
24
Only for
Maxus
Форматы 3D кино
Полосно-пропускные
Разделение изображений
для разных ракурсов
по длинам волн
Основные форматы:
Анаглиф
(греч. Anaglyph, выпуклая резьба
«барельеф»,
ἀνά «над», γλύϕ-ειν «вырезать»)
Dolby 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Рисунок - http://dtcinema.ru
25
Only for
Maxus
Полосно-пропускные
Dolby 3D
Разработка технологии
компанией Infitec
(Interference filter technologie)
Объединение Infitec
с Dolby Laboratories Inc.
Создание стандарта Dolby 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
26
Only for
Maxus
Dolby 3D
Принцип работы
Развитие идеи анаглифного стерео, более
сложное разделение изображений по длине
волны света
Применение интерференционных полоснопропускающих фильтров
Получение изображения смешиванием цветов
из полос пропускания
Left eye: Red 629nm, Green 532nm, Blue 446nm
Right eye: Red 615nm, Green 518nm, Blue 432nm
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD27
Dolby-3D-XpanD-MasterImage.html
Only for
Maxus
Dolby 3D
Принцип работы
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://litvinovs.net/reflection/3d/
28
Only for
Maxus
Dolby 3D
Оборудование
Обычный матовый экран
Один проектор + вращающийся
диск-светофильтр
4320 оборотов в минуту
Частота обновления – 72Гц
для каждого глаза
Очки со спектральными
светофильтрами
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD29
Dolby-3D-XpanD-MasterImage.html
Only for
Maxus
Содержание
Форматы 3D кино
Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
30
Only for
Maxus
Форматы 3D кино
Затворные
Поочередное перекрывание каждого глаза
В каждый момент времени
вывод на экран только
одного ракурса
Основные форматы:
NVIDIA 3D Vision
XpanD 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
31
Only for
Maxus
NVIDIA 3D Vision
Оборудование
Мощная видеокарта
Качественный дисплей
Специализированный набор IR-синхронизатор + активные
очки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.nvidia.com
32
http://www.nvidia.com
33
Only for
Maxus
XpanD 3D
Оборудование
Затворные очки
Полноцветное изображение
Частота развертки не ниже 100Гц (50Гц для каждого
глаза)
Необходимость синхронизации и элементов питания
Техническая сложность и высокая стоимость (60 - 100 €)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.xpand.me/technology/xpand-3d/
34
Only for
Maxus
XpanD 3D
Оборудование
IR-эмиттеры синхронизации
280 инфракрасных диодов
Большой радиус действия
Устанавливается рядом
с проектором
Направляется на экран
Сигнал отражается от экрана в кинозал
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.xpand.me/technology/xpand-3d/
35
http://www.xpand.me/technology/xpand-3d/
36
Only for
Maxus
Содержание
Форматы 3D кино
Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
37
Only for
Maxus
Поляризация
Нарушение симметрии в распределении волн
Неполяризованный
свет
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Частично
поляризованный
свет
http://en.wikipedia.org
Поляризованный
свет
38
Only for
Maxus
Поляризация
Виды поляризации
Линейная поляризация,
применение:
Ранние модели IMAX 3D
Круговая поляризация,
применение:
Современный IMAX 3D
RealD 3D
MasterImage
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
39
Only for
Maxus
Линейная поляризация
Теория
Колебания э/м возмущений в одной плоскости
Принцип работы фильтров – анизотропные
свойства кристалла
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
40
Only for
Maxus
Круговая поляризация
Теория
Циркуляция вектора амплитуды э/м возмущений
Правая (по часовой стрелке)
поляризация волны
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
41
Only for
Maxus
Круговая поляризация
Устройство фильтра
Линейная поляризатор под углом 45°
Четвертьволновая пластина
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
42
Only for
Maxus
Круговая поляризация
Четвертьволновая пластина
Вертикальноориентированная часть
волны проходит
без изменений
Горизонтальноориентированная часть
задерживается
на четверть волны
Δ=λ /4
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
43
Only for
Maxus
Поляризационные
Общие характеристики
Экран с особым покрытием, неизменяющим
поляризацию падающего света
Фильтры для проекторов и очков
Зависимость качества 3D эффекта от наклона
головы зрителя
(в меньшей степени для круговой поляризации)
Существенное уменьшение яркости изображения
из-за поляризации
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperDDolby-3D-XpanD-MasterImage.html
44
Only for
Maxus
RealD 3D
Версии формата
RealD – стандартная с максимальной
шириной экрана – 13.7 м
RealD XL (в России – SuperD) –
для больших экранов до 24 м
RealD XLS – решение проблемы
уменьшения яркости изображения,
экран – до 15 м
RealD LP – переносная версия
для конференций и выставок,
экран до 5 м
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
45
Only for
Maxus
RealD 3D
RealD, RealD XL
Один проектор
с частотой 140Гц
Попеременное отображение
кадров
Система переключаемых
фильтров RealD Z screen,
синхронизируемая
с проектором
Экран с серебряным покрытием
Пассивные поляризующие очки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Система
RealD Z Screen
http://www.brunogilbert.com/reald.htm
46
Only for
Maxus
RealD 3D
RealD, RealD XL
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.edcf.net/edcf_docs/real-d.pdf
47
Only for
Maxus
RealD 3D
RealD XLS
Использование в два раза большего проектора
Одновременный показ двух ракурсов на одном кадре
RealD Z Screen разделяет кадр на ракурсы и поляризует
858
2048
2160
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
4096
48
Only for
Maxus
RealD 3D
RealD LP
Переносной вариант
Ориентирован
для конфренций
2D - 120Гц / 3D - 60Гц
режимы работы
Совместим с уже
существующими моделями
проекторов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
RealD Z Screen
для RealD LP
http://www.brunogilbert.com/reald.htm
49
Only for
Maxus
MasterImage
Более дешевая система с вращающимися фильтрами
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
50
Only for
Maxus
IMAX
Не является только
форматом 3D
Специфицирует все
элементы кинопоказа
Формат
фильмов и кинотеатров
с большим размером экрана
и эффектом погружения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
51
Only for
Maxus
IMAX
Версии
IMAX GT – «Большой кинотеатр»,
без 3D
IMAX GT 3D – Два «GT» проектора
IMAX SR – мультиплексовый вариант
с меньшим экраном, поддержкой 3D
IMAX MPX – технология оборудования
существующих мультиплексов под
формат IMAX
IMAX Dome – куполообразный экран
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.ieee.ca/millennium/imax/imax_technical.html
52
Only for
Maxus
IMAX
Оборудование
Специализированная конструкция
кинозала:
Большой экран
(стандарт – 20х16 м)
Высокий угол
наклона сидений
зрителей (до 23°)
Небольшое расстояние
от экрана до зрителя
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Рисунок - http://media.popularmechanics.com
http://www.ieee.ca/millennium/imax/imax_technical.html
53
Only for
Maxus
IMAX
Оборудование
Больший размер пленки и специальные камеры
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
54
Only for
Maxus
IMAX
Оборудование
Мощные ксеноновые проекционные лампы (7-15кВт)
для увеличения яркости картинки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
55
Only for
Maxus
IMAX
Технологии
IMAX HD – увеличение качества
картинки засчет записи 48 кадров в
секунду
IMAX DMR (Digital Media Remastering)
– перевод 35мм фильмов в 70мм
IMAX Digital Theatre System –
цифровой хранения видео
(введен в 2008 году)
IMAX DMR
(1995 Apollo 13)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.ieee.ca/millennium/imax/imax_technical.html
56
Only for
Maxus
Форматы 3D кино
Заключение
Dolby 3D
NVIDIA 3D Vision
RealD 3D
IMAX
Спектральный
Затворный
поляризационный
поляризационный
Дисплей с высокой
частотой развертки
1 проектор
2 мощных
проектора
Экран с покрытием
Большой экран
Активные
дорогостоящие очки
Пассивные очки
Низкая стоимость
Пассивные очки
Низкая стоимость
Нацелен на
персональное
использование
Очень
распространен,
возможность
оснащения старых
залов
Считается лучшим
форматом, эффект
погружения
1 проектор
Обычный экран
Пассивные очки
Низкая
стоимость
Самый дешевый
вариант
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
57
Приложения
S3D-видео и связанные
технологии
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus
Что подразумевается
под «S3D-видео»
Рассматриваются форматы видео, которые
позволяют зрителям воспринимать глубину
сцены по принципу бинокулярного стерео
зрения
Левый +
правый
канал
Примеры форматов:
Стереоскопический
Многоракурсный
Видео с произвольной точкой наблюдения
(ПТН, Free Viewpoint)
«2D+глубина»
(становится более доступным на данный момент)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
2D +
глубина
59
Only for
Maxus
Приложения S3D-видео
Кино и
телевидение
Медицина
Применение 3D
технологий
Искусство, дизайн,
проектирование
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Виртуальная
реальность
Стерео камеры
и дисплеи
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
60
Only for
Maxus
Связанные технологии
Область S3D-видео охватывает следующие технологии:
Съемка 3D: стерео камеры, камеры глубины,
многоракурсные системы, калибровка камер, сопоставление ракурсов
Отображение 3D: очковые системы с поляризацией, затворные,
автостереоскопические лентикулярные, параллакс-барьерные системы
Конвертация из 2D в 3D:
Вычисление и обработка карт глубины и диспаритета
Depth image-based rendering (DIBR) – задачи генерации ракурсов:
3D warping, hole filling, blending
Сжатие и кодирование: H.264/Multi-view video coding, depth coding
Задачи распознавания на основе видео в различных 3D-форматах
…
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
61
Only for
Maxus
Тенденции развития
видеоинформационных систем
ТСПТН —
Телевидение с
произвольной
точкой
наблюдения
ТВЧ —
телевидение
высокой четкости
ТУВЧ —
телевидение
ультравысокой
четкости
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
В. Дворкович, М. Чобану, «Проблемы и перспективы
развития систем кодирования динамических
изображений», 2011.
63
Only for
Maxus
Тенденции развития систем
отображения 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Объемы продаж (млн)
Количество устройств
с поддержкой 3D (млн)
На данный момент предполагается активный рост
востребованности 3D-технологий
C. Camaroto, “3D Display Technology and Market
Forecast Report”, DisplaySearch, 2010
64
КОНЕЦ ЛЕКЦИИ 1.