Быстрый алгоритм обнаружения объектов с помощью поворотной IP–камеры

Стрельников Константин

[email protected]

МГУ им. М.В. Ломоносова, Лаборатория компьютерной графики и мультимедиа

Лаборатория компьютерной графики и мультимедиа Заведующий – Баяковский Юрий Матвеевич • • • • • • Группа компьютерной графики Интерактивная физически корректная визуализация прозрачных минералов Синтез стерео и мультифокус изображений в реальном времени для микроскопа Быстрая трассировка лучей для сложных сцен с помощью графических ускорителей Построение моделей отражения для оптически сложных материалов по фотографиям Построение и обработка изображений широкого динамического диапазона (HDR) Высокоточное построение формы поверхностей по фотографиям • • • • • • • • Группа компьютерного зрения Трехмерное моделирование городов по фотографиям Поиск, отслеживание и распознавание людей в видео Сопоставление аэрофотоснимков и построение трехмерной модели местности Поиск и выделение объектов на изображениях и в видео Анализ данных лазерного сканирования Видеонаблюдение за лабораторными животными Анализ медицинских изображений Калибровка камер и проекторов Группа видео • • • • • • • • Генерация многовидового видео по стерео для 3D мониторов, не требующих очков Увеличение разрешения видео Интерполяция видео во времени (FRC) Выделение движущихся объектов в видео, сегментация видео Построение панорамы по видео Устранение искажений сжатого видео (шума, блочности, мерцания, дрожания и др.) Анализ качества видеокодеков Ежегодное тестирование кодеков H.264

http://graphics.cs.msu.ru/

ГрафиКон'2010

20-24 сентября, Санкт-Петербург

Крупнейшая международная конференция по компьютерной графике и зрению на территории бывшего СССР • • • • • • • • • Графика и мультимедиа Геометрическое моделирование Фотореалистическая визуализация Методы, основанные на анализе изображений Научная визуализация Компьютерная графика для мобильных устройств Графическое аппаратное обеспечение Графика в компьютерных играх Анимация и симуляция Виртуальная и расширенная реальность • • • • • Машинное зрение 3D реконструкция и моделирование Биометрия Локализация и отслеживание объектов Реконструкция структуры по движению и стереоизображениям Статистические методы и машинное обучение • • • • • Обработка изображений и видео Обработка медицинских изображений Предварительная обработка визуальной информации и представление изображений Отслеживание и сопровождение по видеопотоку Сегментация и классификация Улучшение и восстановление изображений и видео http://gc2010.graphicon.ru/

Быстрый алгоритм обнаружения объектов с помощью поворотной IP–камеры

Развитие видеонаблюдения

Поворотная (PTZ) камера

• • изменяется направление объектива по азимуту  и углу места  изменяется фокусное расстояние f

Взаимодействие с IP-камерами

ВЕКТОРА ДВИЖЕНИЯ

Каждому блоку ставится в соответствие вектор движения (ВД)

вектор движения блок пикселей

Наиболее похожим считается блок, на котором достигается минимум среднеквадратичного отклонения пример векторов движения

Обнаружение объектов с помощью поворотной камеры Начало Определение изменения фокусного расстояния и направления объектива Корректировка поля векторов движения Обнаружение областей с движением Конец

Обнаружение объектов с помощью поворотной камеры Начало Начало Определение изменения фокусного расстояния и направления объектива Определение глобального смещения в кадре Корректировка поля векторов движения Обнаружение областей с движением Конец Компенсация глобального смещения в кадре Обнаружение областей с движением Конец

Глобальное смещение в кадре

Определение глобального движения между двумя

I I

преобразования T, такого что: (

x y

;   )

B I n

(

x

,

y

) 

I n

 1 (

T

(

x

,

y

))  min где B – пиксели кадра не принадлежащие объектам

T

(

x

,

y

)   

a d b e

    

x y

    

f c

 

a

,

b

, с, d, e, f – параметры глобального движения

Достоверность векторов движения

увеличение

исходный кадр с ВД ошибка сопостав ления блока

(визуализация для всех блоков )

дисперсия яркости внутри блока

(визуализация для всех блоков)

среднеквадратичное отклонение вектора от соседей

(визуализация для всех блоков)

недостоверность векторов движения

Определение параметров глобального движения Начало Текущий кадр Поле векторов движения Предыдущий кадр Фильтрация векторов движения по достоверности Фильтрованное поле векторов движения Выбор трёх произвольных векторов Вычисление параметров аффинного преобразования (ПАП) Построение наборов параметров- кандидатов Выделение пиков гистограмм ПАП Обновление гистограмм ПАП Выбор наилучшего кандидата Конец 2D гистограммы значений ПАП (ae, bd, cf)

Обнаружение движения

 По найденным параметрам глобального движения вычисляем вектора глобального движения для блоков  

v v y x

    

a d b e

    

x y

    

f c

    

x y

    По векторам вычисляется ошибка приближения блоков Блоки, для которых ошибка приближения превышает порог T, помечаются как принадлежащие объекту

Характеристики алгоритма

 Устойчив к изменению фокусного расстояния и смещению камеры  Неустойчив к изменению яркости  Позволяет обнаруживать только движущиеся объекты  Скорость работы: 400 кадров/с на Pentium-4 2.8 ГГц (размер кадра 640x480)

Применения алгоритма оценки глобального движения

 Устранение дрожания кадра

Применения алгоритма оценки глобального движения

 Встраивание синтетической информации

Спасибо за внимание!