Transcript Применение MPEG-7 для описания семантики в

Применение MPEG-7 для
классификации и поиска
визуальных данных
Вихровский Кирилл
[email protected]
Graphics & Media Lab
Проблемы поиска
мультимедиа данных

Более 90% информации создается и
хранится в цифровом виде
цифровых архивов
 широковещательных потоков
 в форме частных или профессиональных баз
данных


Большинство систем хранения и поиска
информации не предоставляют возможности
поиска мультимедиа данных

либо имеют собственный формат описания
свойств объектов
Стандарт MPEG-7

MPEG-7 является стандартом ISO/IEC

“Интерфейс для описания мультимедийного содержимого” Multimedia Content Description Interface

Цель: стандартизовать описание семантики
мультимедийного материала, которое может быть
передано для обработки ЭВМ

MPEG-7 использует схему XML в качестве языка
выбора текстуального представления описания
материала
Средства стандарта
Главными элементы стандарта MPEG-7:

Дескрипторы (Descriptors)


Схемы описания (Description Scheme)


специфицируют структуру и семантику взаимодействия между
компонентами (дескрипторами и схемами описания)
Язык описания определений (Description Definition Language)


определяют синтаксис и семантику представления каждой из
характеристик элемента данных
позволяет создавать новые DS и, возможно, D и обеспечивает
расширение и модификацию существующих DS
Системные средства

служат для поддержки двоичного представления, механизмов
передачи, синхронизации описаний с материалами, контроля
интеллектуальной собственности в описаниях MPEG-7, и т.д.
Поиск и классификация

Контентно-зависимый поиск (CBR).


основываются на сравнении таких характеристик
как цвет, текстура или форма
Поиск на основе метаданных (MBR).

использует более высокоуровневую
информацию, опираясь на ключевые слова или
свободную текстовую аннотацию
Поиск на основе метаданных:
Пример описания MPEG-7
<Mpeg7>
<Description type="SemanticDescriptionType">
<Semantics>
<Label>
<Name>Dodge Viper</Name>
</Label>
<Definition>
<FreeTextAnnotation>
mountain on the background
</FreeTextAnnotation>
</Definition>
<MediaOccurrence>
<MediaLocator>
<MediaUri>image.jpg</MediaUri>
</MediaLocator>
</MediaOccurrence>
</Semantics>
</Description>
</Mpeg7>
Дескрипторы цвета MPEG-7
Устойчивы к изменению цветов фона и независимы от
размера изображения и ориентации объекта в сцене

Цветовое пространство(CS)


Масштабируемый цвет(SCD)



пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff),
матрица линейного преобразования с учетом RGB, монохромное
описывающий распределение цвета в изображении
может быть использован для эффективного поиска в базе
однородных данных
Доминантный цвет(DCD)


наиболее удобный для представления локальных характеристик
высокоскоростной поиск, где для предоставления цветовой
информации достаточно малого числа цветов
Дескрипторы цвета MPEG-7

Цветовое распределение(CLD)


описывает пространственное
распределение цветов в областях
произвольной формы
Структура цвета(CSD)


локальные цветовые
характеристики в изображениях
поиск, базирующийся на подобии
естественных изображений
Дескрипторы текстуры
Могут быть использованы как независимо,
комбинации с другими MPEG-7 дескрипторами

так
и
в
Однородная текстура(HTD)
поиск и просмотр в большой
коллекции сходно выглядящих
образов


Краевая гистограмма(EHD)

поиск изображений по образцам или наброскам,
в особенности для изображений с нерегулярными
краями
Дескрипторы формы
Предоставляет мощное средство для поиска и сравнения в
базе изображений

Форма, базирующаяся на
областях (Region Shape)

Форма, базирующаяся на
контуре (Contour Shape)
Дескрипторы формы


3D-форма (Shape 3D)
Дескриптор 2D/3D формы



3D объект может быть описан
конечным числом 2D форм
известен как дескриптор
световых полей
устойчивый поиск в базе
объектов с различными
разрешениями
Экспериментальная модель

Модули программного обеспечения XM
используют специфицированные интерфейсы

Это позволяет облегчить навигацию среди
множества различных модулей для разных D
и DS.

С другой стороны, использование
фиксированного интерфейса позволяет
повторно использовать и объединять
отдельные модули в большие приложения.
Особенности поиска
создаваемой системы

Гистограмма цветов


Краевая гистограмма


поиск в базе однородных данных
поиск по образцу или наброску
Форма, базирующаяся на контуре

поиск, основанный на сходстве

устойчиво при частичном перекрытии формы
Область применения

Мультимедийные библиотеки

Фотоальбомы

Базы 3D-моделей для разработчиков
компьютерных игр и дизайнеров