Transcript nts2015_504-18-2012

Отчет о выполнении НИР Г 504-18/2012-Ф
1
Методологічні та реалізаційні основи аналізу, адаптивної
обробки та завадостійкого кодування багатоканальних
мультимедійних та телемедичних даних
Мета НДР
- розробити методологічні та реалізаційні основи підвищення ефективності
попереднього аналізу, адаптивної обробки (стиснення, фільтрації,
відновлення), завадостійкого кодування та видобування корисної
інформації з багатоканальних зображень, мультимедійних та
телемедичних даних із застосуванням нових кількісних мір та підходів до
стійкого оцінювання.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Применения метрик качества и
подобия
2
Метрики, используемые при обработке изображений:
Визуального качества с эталоном и без эталона; подобия.
Применения метрик визуального качества:
- Анализ качества исходных изображений в различных системах;
- Анализ визуального качества обработанных (сжатых, отфильтрованных,
восстановленных) изображений;
- Оптимизация обработки, синтез новых методов и алгоритмов обработки;
- Автоматизация обработки.
Требования к этим метрикам:
- Адекватность визуальному восприятию или другой решаемой задаче (например
классификации данных многоканального ДЗ);
- Применимость для широкого круга разнообразных типов искажений;
- Способность надежно идентифицировать искажения.
Применения метрик подобия
- Поиск и извлечение изображений в больших базах и Интернете;
- Поиск самоподобных участков, обработка кадров видео, стерео изображений,
изображений панорамной съемки и т.д.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
3
Общая методология синтеза и анализа
эффективности метрик с эталоном
Выбор параметров, учитываемых при расчете метрики, и ее структуры;
Выбор критерия оптимизации (обычно коэффициентов ранговой
корреляции Спирмена значений метрики и усредненной оценки
визуального качества людьми; MOS – mean opinion score).
Выполнение экспериментов с привлечением добровольцев для оценки
визуального качества и получение ранжированных выборок.
Недостатки существующих метрик:
- недостаточная универсальность;
- Недостаточная адекватность метрик, особенно для новых (не учтенных
ранее) типов искажений, как, например, искажения цветовой
насыщенности, сигнально-зависимые помехи, сжатие с потерями
изображений с шумом, цветовая квантизация и дизеринг,
хроматические аберации, восстановление по разреженной сетке
отсчетов.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Проблемы разработки метрик
качества при наличии эталона
4
- Создана новая
наибольшая в мире
база TID2013 цветных
изображений с 24
типами искажений
(более 320 ссылок на
старую версию и более
25 на новую с июня 2013
года).
- Учтена различная
чувствительность к
искажениям в
интенсивности и
i13_18_5, MOS=3.8, FSIMc=0.948 i13_17_4, MOS=6.5, FSIMc=0.945 разных цветовых
компонентах;
Пример практической ситуации, когда даже наилучшая из известных- Учтено повышенное
на данный момент метрик (FSIMc) неадекватно характеризует визуальное внимание к объектам,
качество искаженных изображений (чем больше FSIMc, тем выше качество). привлекающим
внимание;
Причины – не учтены эффекты маскирования искажений текстурой и
- Учтены новые
особенности восприятия человеком искажений цвета.
приложения.
Для новой базы проведено более 600 экспериментов в Украине и более 200 экспериментов в
других странах (Финляндия, Франция, Италия, США, в том числе через Интернет)
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Коэффициенты ранговой корреляции (КРК) Спирмена
и Кендалла между MOS и различными метриками
визуального качества для новой базы
0.9
SFF
FSIMc
PSNRHMA PSNRHA
MSSIM
0.85
BMMF
MADindex
Spearman rank order correlation
0.8
SR-SIM
0.75
MSDDM
SSIM
0.7
XYZ
PSNR
IWPSNR
VSNR
VIF
0.65
NQM
LinLab
VIFP
0.6
PSNRHVS
PSNRHVSM
DCTUNE
UQI
0.55
IFC
0.5
0.35
0.4
CW-SSIM
WSNR
0.6
0.55
0.5
0.45
Kendall rank order correlation
Национальный Аэрокосмический Университет «ХАИ»
0.65
В 2014 году нами разработана
метрика на основе нейросети,
которая позволяет достичь КРК
Спирмена, равного 0,93, и КРК
Кендалла, равного 0,77.
Показано, что разработанные
нами метрики обеспечивают
КРК Спирмена на уровне 0,95
для тех приложений, которые
наиболее важны для решаемых
нами задач (качество
зашумленных изображений,
сжатие, фильтрация)
FSIM
IWSSIM
PSNRc
5
0.7
Разработана методика выявления
недостатков существующих
метрик на основе построения
совместных скаттерограмм для
аддитивного белого шума и
исследуемого типа искажений.
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
6
Метрики подобия, использующиеся в
задачах анализа многомерных данных
Расстояние Минковского:
Расстояние
Махаланобиса:
Расстояние
Хеллингера:
Расстояние Чебышева:
Расстояние Евклида:
Расстояние
Брея-Кертиса:
Косинусное расстояние:
Метрика Manhattan:
Метрика Canberra:
Расстояние на основе
корреляции Пирсона:
Национальный Аэрокосмический Университет «ХАИ»
Рубель А.С. Отчет о выполнении НИР Г 504-18/2012-Ф
13.04.2015
8/1/2013
Разработка и тестирование мер
качества при отсутствии эталона и мер
подобия
Пример подавления пространственнокоррелированных помех с
использованием новых метрик для
поиска подобных блоков
Национальный Аэрокосмический Университет «ХАИ»
№
Мера (название, автор)
1
7
Значение корреляции
Спирмена
Кендалла
BREN
0,521
0,359
2
GRAE
0,516
0,359
3
HELM
0,461
0,321
4
LAPE
0,551
0,387
5
SFRQ
0,44
0,303
6
TENV
0,484
0,34
7
WAVR
0,531
0,373
8
Размер файла
0,574
0,409
9
Ferzli
0,314
0,218
10
Block
0,451
0,305
11
Blur
0,366
0,251
12
BlockInf
0,505
0,344
Предложенная мера
четкости
0,71
0,522
С использованием мер подобия созданы панорамные изображения ХАИ
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Автоматизация обработки
гиперспектральных данных ДЗ
8
Зависимости оценок параметров компонент сигнально-зависимых помех от номера канала
для сенсора Гиперион
Для примерно 15-20% компонентных изображений гиперспектральных данных
наблюдается малый динамический диапазон данных и малое отношение сигналшум; поэтому эти изображения часто не используют при анализе, хотя после
обработки эти данные могут быть полезны.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
9
Обработка с использованием вариационностабилизирующего преобразования (ВСП)
Обработка (сжатие или фильтрация) могут выполняться полностью автоматически.
После автоматического оценивания параметров помех к изображениям
применяется ВСП с параметрами, учитывающими полученные оценки. Далее
обработка выполняется с учетом единичной и одинаковой дисперсии помех во
всех каналах.
На практике:
Может применяться обобщенное преобразование Энскомба
3
IijGA  (2 / k )(kIijnoise  k 2   02 )1/ 2
8
Это позволяет использовать единый параметр (шаг квантования QS) при сжатии
изображений поканально или в группах
QS  1
После декомпрессии и деблокинга полученное изображение должно быть подвергнуто
обратному гомоморфному преобразованию.
Основные достоинства:
простота установки QS и автоматизации сжатия;
обеспечение благоприятных условий для трехмерного сжатия и фильтрации,
что позволяет осуществлять сжатие в окрестности ОРТ или повышать
эффективность фильтрации.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
10
Пример сжатия с потерями
Фрагмент исходного (слева) и сжатого (справа) изображения в 145-м канале
гиперспектральных данных
Предложенные методы и алгоритмы приводят либо к частичному
подавлению помех, либо к визуальной незаметности внесенных искажений
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Эффективность сжатия гиперспектральных
данных поканально и с группированием
Метод
сжатия с
группированием
Набор
EO1H1800252002116110KZ
11
Набор
EO1H2010262004157110KP
Оптич.
ИК
Оптич.
ИК
AGU8WVST
(по 8 каналов в
группе)
18.34
12.82
18.89
14.26
AGU16WVST
(по 16 каналов в
группе)
20.81
14.65
25.62
14.02
AGUAllWVST
(все каналы
диапазона)
17.43
13.00
34.97
13.40
Достигнут гораздо больший КС, чем при поканальном сжатии (порядка
6) или при сжатии без потерь (2…3)
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Прогнозирование эффективности
фильтрации и сжатия
Разработаны процедуры
быстрого прогнозирования
эффективности фильтрации
для метрик PSNR и PSNRHVS-M в зависимости от
параметров,
характеризующих ДКПкоэффициенты в блоках. Это
позволяет автоматически
принимать решение о
применении фильтрации для
конкретного изображения
Национальный Аэрокосмический Университет «ХАИ»
Разработаны процедуры быстрого
прогнозирования эффективности
сжатия зашумленных изображений в
окрестности оптимальной рабочей
точки (ОРТ) для метрик PSNR и
PSNR-HVS-M. Это позволяет
автоматически принимать решение о
выборе желательных параметров
сжатия и о том, существует ли ОРТ
для рассматриваемого случая.
Отчет о выполнении НИР Г 504-18/2012-Ф
12
Разработаны процедуры
прогнозирования
значений коэффициента
сжатия для кодеров,
управляемых шагом
квантования, который
устанавливается
пропорциональным
СКО помех. Это
позволяет существенно
ускорить процедуру
сжатия.
8/1/2013
Классификация данных многоканального ДЗ
с предварительной обработкой и без нее
(вероятности правильной классификации)
13
Данные
Общая
Почва
Трава
Вода
Дома и
дороги
Кустарник
Исходные
85.6
74.7
93.2
98.8
71.9
81.7
КФ (β=2.2)
89.9
81.8
99.1
98.7
71.5
83.2
КФ (β=2.6)
90.2
82.6
99.4
98.7
71.4
83.5
КФ (β=3.0)
90.5
83.2
99.5
98.6
71.4
83.8
КФ с ВСП (β=2.2)
89.9
81.5
99.1
98.8
71.5
83.1
КФ с ВСП (β=2.6)
90.2
82.3
99.4
98.7
71.5
83.4
КФ с ВСП (β=3.0)
90.4
82.9
99.5
98.6
71.5
83.7
ВФ с ВСП (β=2.2)
90.5
82.2
99.5
98.8
71.8
85.3
ВФ с ВСП (β=2.6)
90.8
82.6
99.7
98.8
71.9
85.8
ВФ с ВСП (β=3.0)
91.0
83.1
99.7
98.7
71.9
86.3
КФ – компонентная фильтрация, ВФ – векторная фильтрация, ВСП – вариационно-стабилизирующее преобразование
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
14
Помехоустойчивые методы модуляции на
основе статистик высших порядков
Bx ( p, q)  X ( m) ( p) X ( m) (q) X *( m) ( p  q)

 X ( m ) ( p) X ( m ) ( q) X ( m ) (  p  q)
Амплитудные биспектры при использовании окна Ханна: биамплитуда B0 и биамплитуда B1
Вероятность битовой ошибки при использовании
исследуемых окон
1 – окно Рао-Габра, 2 – окно Чебышева,
3 – окно Ханна, 4 – окно Блэкмана)
Вывод: окно Рао-Габра обеспечивает наилучший
результат.
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013

Помехоустойчивые методы модуляции
на основе статистик высших порядков
15
Кривая 1 – БОМ (использовано
сглаживающее окно Рао-Габра);
кривая 2 – БОМ без окна; кривая 3 –
FSK-4; 4 – FSK
Фурье-спектры сигналов-триплет
Разработанный метод БОМ устойчив:
- к негауссовым помехам;
-- к эффекту джиттера;
Биамплитуды B0 и B1 с использованием двухмерного окна РаоГабра и усреднения по восьми сегментам с 50% перекрытием
Национальный Аэрокосмический Университет «ХАИ»
- к замираниям в канале связи
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
Хоздоговорные НИР и международные
контакты
16
Хоздоговорные НИР: 235 тыс. грн. в 2014 г.
Международные контакты:
- более 10 совместных публикаций в 2014 г;
- Выполнен проект на 2013-2014 гг. в рамках программы Днипро на совместные
исследования и поездки с французскими партнерами;
- Подан запрос на выполнение проекта совместно с университетом Черногории.
6 сотрудников кафедры находились на стажировках или с кратковременными
визитами:
- в Технологическом университете г. Тампере (Финляндия),
- в Университете г. Ренн (Франция),
- в Университете Черногории (Подгорица),
- в Университете (Германия)
Договора о содружестве с:
-Международным Центром обработки сигналов при Технологическом университете г.
Тампере (Финляндия);
-Университетом г. Ренн I (Франция);
-Университетом Черногории (г. Подгорица, Черногория);
- Заключен договора с Университетом Алькара (Мадрид, Испания).
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013
17
Научная работа кафедры и НТЦ
Показатели
2012-2014 (план)
Монографии
Защиты диссертаций (докт. + канд.)
1+8 разделов (1+6
разделов)
2+3 (1+3)
Статьи в журналах:
международных с импакт-фактором
в журналах ВАК
30 (10)
33 (15)
Доклады на конференциях
международных:
украинских
65 (46)
68
Количество цитирований наших публикаций
458 (в 2014 году)
Количество статей со студентами
6
Получено (подано) патентов
2(1)
Национальный Аэрокосмический Университет «ХАИ»
Отчет о выполнении НИР Г 504-18/2012-Ф
8/1/2013