Transcript Экспериментальный комплекс Систем Технического Зрения
Slide 1
Экспериментальный комплекс СТЗ для
информационного обеспечения автоматизации
управления летательными аппаратами
С.М. Соколов, А.А. Богуславский
(ИПМ РАН им. М.В. Келдыша)
Фёдоров Н.Г., Виноградов П.В.
(Раменское приборостроительное конструкторское бюро)
Slide 2
Цели сообщения
• Актуальность использования СТЗ
(Проект Х47В)
• Опыт ИПМ по разработке бортовых СТЗ для
навигации и инф. привязке
• Компоновка СТЗ БЛА
• Результаты первых экспериментов
• Заключение
НПК Алферьево 2015
2
Slide 3
О перспективности СТЗ
Одна из тенденций в области сенсорного
обеспечения РТК в части датчиков внешней
среды – центральное место занимают
системы технического зрения.
В качестве обоснования, приведём ряд
известных реализаций.
НПК Алферьево 2015
3
Slide 4
Центральная часть системы информационного
обеспечения - СТЗ
Система технического зрения выполняет следующие функции:
Уточнение/определение
координат
текущего
местоположения
транспортного средства по ориентирам для увеличения точности и
повышения надежности навигации.
Вычисление задания для регулятора подруливания на основе
видеоданных.
Обнаружение препятствий, обочин, пешеходов, других транспортных
средств.
Определение состояния объектов окружающего пространства
Информационное
обеспечение
бортовым
оборудованием:
манипулятором, специальной техникой.
Slide 5
Отличительные особенности СИО на основе СТЗ
• Независимость от внешних источников
информации
• Развитая БД
• Значительная унификация алгоритмического
обеспечения для обработки цифровых
изображений различных диапазонов лучистой
энергии
НПК Алферьево 2015
5
Slide 6
Системы компьютерного зрения в
современных робототехнических системах
Northrop Grumman БЛА X-47B – взлет/посадка на авианосец
февраль 2011 г. – первый полет
май 2013 г. – взлет с палубы авианосца
июль 2013 г. – посадка на авианосец
НПК Алферьево 2015
6
Slide 7
Системы компьютерного зрения в
современных робототехнических системах
БЛА X-47B – совместный полет с пилотируемым самолетом
2014 г. – эксперименты по организации взлета/посадки до или после пилотируемого
самолета.
На фюзеляже пилотируемого самолета видны метки для использования средствами СТЗ
НПК Алферьево 2015
7
Slide 8
Системы компьютерного зрения в
современных робототехнических системах
БЛА – дозаправка в воздухе
2012 г.: DARPA продемонстрировала совместный полет со сближениями на расстояние
порядка 30 м двух доработанных БЛА RQ-4 Global Hawk как пример технологии для
реализации автоматической дозаправки в воздухе от беспилотного танкера.
НПК Алферьево 2015
8
Slide 9
Пространство конфигураций/архитектур СИО БЛА
Z
Алгоритмическое
обеспечение
3
«Точка сборки»
2
O
Y
Описание среды
(БД фоноцелевой
обстановки)
1
X
Аппаратура
(Сенсоры)
1 – набор аппаратных средств с фиксированными техническими характеристиками;
2– база данных структурных/количественных описаний среды функционирования;
3 – набор алгоритмов решения целевой задачи.
Отдельные координаты – в свою очередь являются точками в
пространстве соответствующего научно-технического направления.
НПК Алферьево 2015
9
Slide 10
Тепловизионная система «в помощь водителю»
Метод формирования классов фоноцелевой обстановки
• Вспомогательная зона – информация
об удаленных объектах окружающих
дорогу;
• Зона прогноза - зона полосы движения,
которую достигнет транспортное
средство (с учетом скоростей и
специфики движения по дороге);
• Зона ответственности - зона полосы
движения, которую достигнет
транспортное средство на следующем
шаге управления, или зона с линейным
размером вдоль направления движения
равным длине пути экстренного
торможения;
НПК Алферьево 2015
10
Slide 11
Эксперименты с тепловизионной системой «в помощь
водителю»
сигнальная информация водителю
Восклицательный знак в зоне прогноза
возникает в случае обнаружения объекта
интереса.
Горизонтальные стрелки под ним
указывают направления первоочередного
внимания на объект интереса.
Вертикальная
стрелка
в
зоне
ответственности
–
движение
разрешено/запрещено.
Короткие
стрелки
в
основании
вертикальной стрелки – «всё в порядке»;
предупреждение;
отклонение
по
расположению ТС относительно проезжей
части полосы движения.
НПК Алферьево 2015
11
Slide 12
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
12
Slide 13
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
13
Slide 14
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
14
Slide 15
Мобильная система оперативного картографирования
НПК Алферьево 2015
15
Slide 16
Автоматический мониторинг процессов
сближения и стыковки КА и МКС
16
Slide 17
Переход от телеуправления к
телепрограммированию
Тенденция в области алгоритмического
обеспечения СИО РТК – переход от
телеуправления к телепрограммированию.
РТК автономно выполняет не отдельные
действия, а некоторую функционально
законченную совокупность действий.
Стоимость разработки программного
обеспечения РТК превосходит стоимость
разработки аппаратной части.
НПК Алферьево 2015
17
Slide 18
Проблема представления окружающего пространства и
решения в нём навигационной задачи мобильных
робототехнических комплексов
П р едстав л ен и е об О к р уж аю щ ем П р остр ан ств е + Н ав и гац и он н ая З адач а
Д а тч и к +
а л го р и тм
сб о р а
данных
...
Д а тч и к +
а л го р и тм
сб о р а д а н н ы х
К о м п л е кси р о в а ние данны х
(о тн е се н и е к
одному
ф и зи ч е ско м у
о б ъ е кту )
А р х и те кту р а
(ко м п о н о в ка /
ко м п л е кси рование)
м о д ул е й С У
СУ МР
Л о ка л ь н ы е м а н ё в р ы
Л о ка л и за ц и я +
п о стр о е н и е
л о ка л ь н о й м о д е л и
ср е д ы
(п р о хо д и м о сть ,
б е зо п а сн о сть )
П ланирование /
в ы б о р п ути
Реш ение
н а в и га ц и о н н о й
за д а ч и
и н те р ф е й с
о п е р а то р
О то б р а ж е н и е о б р а зо в о б ъ е кто в
ОП
Т ехн ол оги я п р огр ам м и р ов ан и я
В сё д о л ж н о и сп о л н я ть ся н а б о р то в ы х
в ы ч и сл и те л ь н ы х ср е д ств а х
(а п п а р а тур а + П О ) в р е а л ь н о м в р е м е н и
ООП
- К ом п он ен тн ы й п одход ;
- Ш абл он ы П О А И С
Р азр аботк а ц и к л ов р еал ь н ого в р ем ен и
П р оек ти р ов ан и е и р еал и зац и я в ы сок оур ов н ев ы х
ал гор и тм ов обр аботк и дан н ы х
НПК Алферьево 2015
18
Slide 19
Методы решения задач представления окружающего
пространства и решения в нём навигационной задачи
Схема «навигационный крест».
ГРНС
ИН
СУ МР
ТНС
Оператор
Здесь ГРНС - глобальная радионавигационная спутниковая система; ТНС традиционная навигационная система, включающая в себя процессы счисления
пути и подкорректировки по ориентирам; ИН - интерпретирующая навигация.
Slide 20
Концепция интерпретирующей навигации (ИН)
Суть интерпретирующей навигации (ИН) заключается в том, что положение МР на местности
определяется не в абсолютной системе координат (АСК), а на основе динамики изменений
описания видимой окрестности среды. Аналог количественной модели АСК выступает
качественная модель – граф информационной эквивалентности (ГИЭ).
Локализация МР определяется топологическим описанием его отношения со средой типа: «в
помещении А», «напротив двери» и т.п.
Переход к геометрическому моделированию объектов (определения векторов характеристик
положения, ориентации) осуществляется абсолютной интерпретацией относительных описаний
только по мере необходимости решения специальных задач (определение начального и конечного
положений МР, приближения на заданное расстояние, занятие определенного положения с заданной
ориентацией, манипулирования объектами и т.п.)
Основой навигации служат ориентиры – «точечные» особенности среды в дальнометрическом
описании (отдельные объекты среды или их части). Эти ориентиры разбивают всю область
функционирования робота на районы информационной эквивалентности (И.Э.). Положение МР
(без привязки к (АСК) определяется характерным размером района и.э. Каждому району и.э.
соответствует абсолютное описание – упорядоченная по углу наблюдаемая видимая
последовательность ориентиров – кольцо.
Выбор пути может быть осуществлен по связной цепочке районов и.э.
План двигательного поведения представляет собой последовательность поведенческих актов (ИДД)
переход между которыми осуществляется по наступлении определенного события.
НПК Алферьево 2015
20
Slide 21
Методы решения задач представления окружающего
пространства и решения в нём навигационной задачи
Способы задания и реализации пути.
Способ задания пути
Вспомогательные действия
Координатный:
последовательность точекподцелей
Планирование сопутствующих
навигационных измерений
Интерпретирующий:
последовательность
предложений на языке ИН
Отсутствуют
Смешанный:
последовательность
подцелей
Трансляция пути на язык ИН
точек-
НПК Алферьево 2015
Особенности реализации
движения
Движение в заданную точку с
подкорректировкой по
ориентирам
Движение в заданный район и.э.
на
основе
данной
совокупности
ИДД
Движение на основе
совокупности ИДД;
определение конечного
положения в ДСК
21
Slide 22
Использование программных каркасов
Примеры программных каркасов:
Каркас – заготовка приложения СТЗ для доработки
применительно к конкретной задаче.
• National Instruments LabVIEW
• Графы фильтров Microsoft DirectShow
• Потоковая архитектура для обработки данных
в мультимедиа-системах Flow Sheduling
Framework
Проблемы применения в СТЗ:
•Возможность изменения цикла реального времени
• Учет неравномерности обработки зрительных данных
• Продолжительный этап опытной
эксплуатации/отладки
Slide 23
Компонентный каркас для разработки
ПрО СТЗ реального времени
Режимы функционирования
П од с и сте м а
и н те р ф е й с а
п ол ь зо вател я
П од с и сте м а
о б р а б отки
и зо б р а ж е н и й
О бъ е кт
“Б уф е р к а д р а ”
П од с и сте м а в вод а
зр и тел ь н ы х д а н н ы х
О бъ е кт
“Реж и м н а стр о й ки ”
З а п усти ть
В кл ю ч и ть
Координация
взаимодействия
подсистем –
объекты-режимы
В ы п ол н и ть р е ги стр а ц и ю кл и е н та
Увед о м л е н и е о с ъ е м е к а д р а
О ткр ы ть буф е р и зо б р а ж е н и я
К о п и р о вать
Режим настройки:
З а кр ы ть буф е р и зо б р а ж е н и я
П ол у ч и ть
и зо б р а ж е н и е
• проверка аппаратной
части
• проверка обработки
изображений
О б р а б отать и зо б р а ж е н и е
О то б р ази ть те к ущ и е
р езул ьтаты о б р а б отки
• просмотр результатов
В ы к л ю ч и ть
О тм е н и ть р е ги стр а ц и ю кл и е н та
НПК Алферьево 2015
23
Slide 24
Компонентный каркас для разработки
ПрО СТЗ реального времени
Режимы функционирования
П од си сте м а
и н те р ф е й са
п ол ьзо вател я
П од си сте м а
о б р а б отки
и зо б р а ж е н и й
О бъ е кт
“А вто м ати ч е ски й
р еж и м ”
П од си сте м а в вод а
зр и тел ь н ы х д а н н ы х
З а п усти ть
В кл ю ч и ть
Координация
взаимодействия
подсистем –
объекты-режимы
В ы п ол н и ть р е ги стр а ц и ю кл и е н та
Увед о м л е н и е о съ е м е к а д р а
О ткр ы ть буф е р и зо б р а ж е н и я
О б р а б отать и зо б р а ж е н и е
Автоматический режим:
О то б р ази ть р езул ьтаты
З а кр ы ть буф е р и зо б р а ж е н и я
• Обработка в реальном
времени
• Отключение буфера
кадра
О то б р ази ть
те кущ и е
р езул ьтаты
о б р а б отки
В ы кл ю ч и ть
О тм е н и ть р е ги стр а ц и ю кл и е н та
НПК Алферьево 2015
24
Slide 25
Компонентный каркас для разработки
ПрО СТЗ реального времени
Высокоуровневые алгоритмы обработки
Объект класса CVSAlgPrc
подключается к
подсистеме обработки
изображений
IP e rsista n ce P a rm sC o n ta in e r
К о нт е й не р хр а ни м ы х па р а м е т р о в
1
n
C A lg P rc
C A lg D a ta R e c o rd
В ы со ко ур о вне вы й а л го р и т м
о б р а б о т ки зр и т е л ьны х д а нны х
С V S A lg P rc
В ы со ко ур о вне вы й а л го р и т м
о б р а б о т ки зр и т е л ьны х
д а нны х пр и кл а д но й С Т З
Р е зул ьт а т ы о б р а б о т ки
и зо б р а ж е ни я
C V S A lg P rc _ B o tto m T o p
А л го р и т м ст р укт ур ы
« о б р а б о т ка сни зу-вве р х»
C V S A lg P rc _ T o p B o tto m
А л го р и т м ст р укт ур ы
« о б р а б о т ка све р ху-вни з»
C P re d ic tio n
П р о гно з зна че ни й па р а м е т р о в
о б ъ е кт о в и нт е р е са
НПК Алферьево 2015
25
Slide 26
Постановка задачи
На основании уже достигнутого уровня (пример проект X47) можно
спрогнозировать быстрой рост автономности будущих БПЛА с
одновременным ростом их «интеллекта».
Накопленный научно-технический задел по разработке
информационно-управляющей авионики для пилотируемых летательных
объектов позволяет ОАО «РПКБ» приступить к проектированию
комплекса пилотажно-навигационного оборудования (КПНО) для
интеграции в беспилотную систему.
На первом этапе работ ставится задача разработать общую
компоновку бортового комплекса, исследовать программно-аппаратную
архитектуру, оценить возможности интегрируемой системы технического
зрения (СТЗ) при решении задач информационного обеспечения
автоматического движения летательного аппарата по взлётнопосадочной полосе и совершении взлёта и посадки. Отработка и
экспериментальная проверка предлагаемых решений производится на
лёгком пилотируемом летательном аппарате.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
26
Slide 27
Требования к КНПО
Критерием, определяющим выбор состава и структуры комплекса, может
служить гарантированность навигационного определения, как
вероятность того, что в любое время и в любой точке пространства
навигационный комплекс обеспечит потребителя информацией,
достаточной для решения его задач с точностью не ниже требуемой.
Отсюда вытекают требования к разработке КНПО:
разработка математического обеспечения,
содержащего комплекс унифицированных программных модулей;
разработка способов управления;
конструктивно-функциональная интеграция,
обеспечивающая оптимальное использование
функциональной избыточности
открытость архитектуры, обеспечивающая за весь период
эксплуатации самолета возможность замены или наращивания КПНО
новыми перспективными датчиками и решаемыми задачами.
отработка и экспериментальная проверка предлагаемых
решений
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
27
Slide 28
Состав КНПО
пилотажно-навигационное средство (ПНС) 2 шт.
с встроенными вычислителями:
спутниковая навигационная система (СНС);
система воздушных сигналов (СВС);
система технического зрения (СТЗ) в составе:
вычислительно-управляющий блок (ВУБ) 2 шт.;
камера высокого разрешения оптического диапазона 4 шт.;
приемная антенна СНС ГЛОНАСС/GPS с разветвителем
сигнала (РС);
приемник воздушного давления (ПВД);
система курсовертикали (СБКВ) 2 шт.;
многофункциональный индикатор (МФИ) 2 шт.;
пульт управления индикацией (ПУИ) 2 шт.
-
–
–
–
–
–
–
–
–
–
–
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
28
Slide 29
Состав КНПО
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
29
Slide 30
Задачи СТЗ
•непрерывное автоматическое определение относительных координат и
скорости самолета в инерциальной системе координат, заданной
относительно ВПП;
•непрерывное автоматическое определение параметров угловой
ориентации самолета, в том числе:
•при движении по аэродрому (рулении, разбеге и пробеге) – угла
ориентации продольной оси связанной с самолетом системы координат
относительно продольной оси ВВП (или другой линии, задающей
направление движения);
•в полёте (в том числе, на взлете, заходе на посадку и посадке):
– углов тангажа и крена самолета (при условии видимости линии горизонта в
одном из полей зрения СТЗ );
– угла ориентации продольной оси связанной с самолетом системы координат
относительно продольной оси ВВП;
– угла наклона траектории (угол между касательной к траектории в
вертикальной плоскости и плоскостью поверхности ВПП).
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
30
Slide 31
Точности решаемых задач
сверхвысокую (для обеспечения режимов посадки и сближения объектов при
дозаправке):
а) по координатам – 2÷4 м;
б) по высоте – 0,5 м;
в) по составляющим скорости – 0,01 м/с;
г) по времени – 0, 3 мс;
высокую (при заходе на посадку, для обеспечения встречи в воздухе и управления движением):
а) по координатам – 100 м;
б) по высоте – 10 м;
в) по составляющим скорости – 0,1 м/с;
г) по времени –3 мс;
среднюю (при вождении по маршруту):
а) по координатам – 500 м;
б) по высоте – 50 м;
в) по составляющим скорости – 1 м/с;
г) по времени – 3 0мс;
низкую (при полётах по маршруту в отдалённых районах, для обеспечения вывода
БПЛА в район действия корректирующих систем):
а) по координатам – 5 км;
б) по высоте – 0,5 км;
в) по составляющим скорости – 5 м/с;
г) по времени – 300 мс;
Slide 32
Примеры изображений
Примеры изображение ВПП с разметкой.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
32
Slide 33
Примеры изображений
Пример изображения (компьютерной модели) ВПП в
поле зрения камеры, установленной на борту ЛА.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
33
Slide 34
Режимы функционирования КПНО,
в которых задействована СТЗ
•“Предполетная подготовка”;
•“Руление по ВПП”;
•“Разбег и взлет”;
•“Заход на посадку”;
•“Посадка и пробег”.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
34
Slide 35
Алгоритмы обработки зрительных данных
Решение задач зрительного анализа объединением подходов «снизувверх» и «сверху-вниз».
Примерами низкоуровневых алгоритмов являются алгоритмы
обнаружения характерных признаков на изображениях – отрезков,
краев, углов, окружностей и т.п.
В каркасе ПО СТЗ предусмотрены средства отладки и контроля масштаба
реального времени. Пороговые ограничения по длительности обработки
поступающих изображений динамически вычисляются в процессе
обработки очередного кадра.
Высокоуровневые алгоритмы обработки зрительных данных в ПО СТЗ
выполняют обработку, ориентированную на осуществление каждого из
выделенных режимов функционирования ЛА. В этих алгоритмах
выделяется набор последовательно выполняемых этапов обработки
зрительных данных, успешное выполнение которых приводит к
принятию решения об обнаружении образов объектов интереса.
Slide 36
Эксперименты по компоновке
макета СТЗ и реализации ПО
Характеристики камер:
• разрешение 2,3 – 5 Мб (1920x1200, 2592x1944, RGB);
• выход: цифровая форма представления видеосигнала высокого
разрешения без сжатия, упакованная для передачи по гигабитной
сети;
• прогрессивная развёртка (доступ к произвольным фрагментам
растра), предусматривает возможность передачи по каналам
связи и предоставления на обработку в вычислительное
устройство только необходимых зрительных данных, а не всего
кадра;
• управление объективом с автоматическим
диафрагмированием;
• внешняя синхронизация.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
36
Slide 37
Эксперименты по компоновке
макета СТЗ и реализации ПО
Вычислительно-управляющие блоки (ВУБ) в составе макета
СТЗ имеют следующие характеристики:
• процессор: Intel Core i7 с частотой 3,3 ГГц;
• оперативная память: 16 Гб;
• накопитель твердотельный;
• 4 сетевых канала Gigabit Ethernet.
Каждый ВУБ обслуживает в режиме реального времени (с
частотой от 15 до 30 Гц) одну стереопару.
Всё оборудование питается от бортовой сети ЛА.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
37
Slide 38
«горизонтальная» стереопара
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
38
Slide 39
Камеры «вниз смотрящей» стереопары
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
39
Slide 40
Калибровочные стенды
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
40
Slide 41
Заключение
Проведённые эксперименты по компоновке,
оценке точности и быстродействия системы
технического зрения в составе системы
информационного обеспечения СУ ЛА
показали эффективность (соответствие ТЗ)
предложенных решений и позволили
перейти к лётным экспериментам.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
41
Экспериментальный комплекс СТЗ для
информационного обеспечения автоматизации
управления летательными аппаратами
С.М. Соколов, А.А. Богуславский
(ИПМ РАН им. М.В. Келдыша)
Фёдоров Н.Г., Виноградов П.В.
(Раменское приборостроительное конструкторское бюро)
Slide 2
Цели сообщения
• Актуальность использования СТЗ
(Проект Х47В)
• Опыт ИПМ по разработке бортовых СТЗ для
навигации и инф. привязке
• Компоновка СТЗ БЛА
• Результаты первых экспериментов
• Заключение
НПК Алферьево 2015
2
Slide 3
О перспективности СТЗ
Одна из тенденций в области сенсорного
обеспечения РТК в части датчиков внешней
среды – центральное место занимают
системы технического зрения.
В качестве обоснования, приведём ряд
известных реализаций.
НПК Алферьево 2015
3
Slide 4
Центральная часть системы информационного
обеспечения - СТЗ
Система технического зрения выполняет следующие функции:
Уточнение/определение
координат
текущего
местоположения
транспортного средства по ориентирам для увеличения точности и
повышения надежности навигации.
Вычисление задания для регулятора подруливания на основе
видеоданных.
Обнаружение препятствий, обочин, пешеходов, других транспортных
средств.
Определение состояния объектов окружающего пространства
Информационное
обеспечение
бортовым
оборудованием:
манипулятором, специальной техникой.
Slide 5
Отличительные особенности СИО на основе СТЗ
• Независимость от внешних источников
информации
• Развитая БД
• Значительная унификация алгоритмического
обеспечения для обработки цифровых
изображений различных диапазонов лучистой
энергии
НПК Алферьево 2015
5
Slide 6
Системы компьютерного зрения в
современных робототехнических системах
Northrop Grumman БЛА X-47B – взлет/посадка на авианосец
февраль 2011 г. – первый полет
май 2013 г. – взлет с палубы авианосца
июль 2013 г. – посадка на авианосец
НПК Алферьево 2015
6
Slide 7
Системы компьютерного зрения в
современных робототехнических системах
БЛА X-47B – совместный полет с пилотируемым самолетом
2014 г. – эксперименты по организации взлета/посадки до или после пилотируемого
самолета.
На фюзеляже пилотируемого самолета видны метки для использования средствами СТЗ
НПК Алферьево 2015
7
Slide 8
Системы компьютерного зрения в
современных робототехнических системах
БЛА – дозаправка в воздухе
2012 г.: DARPA продемонстрировала совместный полет со сближениями на расстояние
порядка 30 м двух доработанных БЛА RQ-4 Global Hawk как пример технологии для
реализации автоматической дозаправки в воздухе от беспилотного танкера.
НПК Алферьево 2015
8
Slide 9
Пространство конфигураций/архитектур СИО БЛА
Z
Алгоритмическое
обеспечение
3
«Точка сборки»
2
O
Y
Описание среды
(БД фоноцелевой
обстановки)
1
X
Аппаратура
(Сенсоры)
1 – набор аппаратных средств с фиксированными техническими характеристиками;
2– база данных структурных/количественных описаний среды функционирования;
3 – набор алгоритмов решения целевой задачи.
Отдельные координаты – в свою очередь являются точками в
пространстве соответствующего научно-технического направления.
НПК Алферьево 2015
9
Slide 10
Тепловизионная система «в помощь водителю»
Метод формирования классов фоноцелевой обстановки
• Вспомогательная зона – информация
об удаленных объектах окружающих
дорогу;
• Зона прогноза - зона полосы движения,
которую достигнет транспортное
средство (с учетом скоростей и
специфики движения по дороге);
• Зона ответственности - зона полосы
движения, которую достигнет
транспортное средство на следующем
шаге управления, или зона с линейным
размером вдоль направления движения
равным длине пути экстренного
торможения;
НПК Алферьево 2015
10
Slide 11
Эксперименты с тепловизионной системой «в помощь
водителю»
сигнальная информация водителю
Восклицательный знак в зоне прогноза
возникает в случае обнаружения объекта
интереса.
Горизонтальные стрелки под ним
указывают направления первоочередного
внимания на объект интереса.
Вертикальная
стрелка
в
зоне
ответственности
–
движение
разрешено/запрещено.
Короткие
стрелки
в
основании
вертикальной стрелки – «всё в порядке»;
предупреждение;
отклонение
по
расположению ТС относительно проезжей
части полосы движения.
НПК Алферьево 2015
11
Slide 12
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
12
Slide 13
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
13
Slide 14
Мобильная система определения координат объектов,
прилегающих к маршруту следования транспортного средства
НПК Алферьево 2015
14
Slide 15
Мобильная система оперативного картографирования
НПК Алферьево 2015
15
Slide 16
Автоматический мониторинг процессов
сближения и стыковки КА и МКС
16
Slide 17
Переход от телеуправления к
телепрограммированию
Тенденция в области алгоритмического
обеспечения СИО РТК – переход от
телеуправления к телепрограммированию.
РТК автономно выполняет не отдельные
действия, а некоторую функционально
законченную совокупность действий.
Стоимость разработки программного
обеспечения РТК превосходит стоимость
разработки аппаратной части.
НПК Алферьево 2015
17
Slide 18
Проблема представления окружающего пространства и
решения в нём навигационной задачи мобильных
робототехнических комплексов
П р едстав л ен и е об О к р уж аю щ ем П р остр ан ств е + Н ав и гац и он н ая З адач а
Д а тч и к +
а л го р и тм
сб о р а
данных
...
Д а тч и к +
а л го р и тм
сб о р а д а н н ы х
К о м п л е кси р о в а ние данны х
(о тн е се н и е к
одному
ф и зи ч е ско м у
о б ъ е кту )
А р х и те кту р а
(ко м п о н о в ка /
ко м п л е кси рование)
м о д ул е й С У
СУ МР
Л о ка л ь н ы е м а н ё в р ы
Л о ка л и за ц и я +
п о стр о е н и е
л о ка л ь н о й м о д е л и
ср е д ы
(п р о хо д и м о сть ,
б е зо п а сн о сть )
П ланирование /
в ы б о р п ути
Реш ение
н а в и га ц и о н н о й
за д а ч и
и н те р ф е й с
о п е р а то р
О то б р а ж е н и е о б р а зо в о б ъ е кто в
ОП
Т ехн ол оги я п р огр ам м и р ов ан и я
В сё д о л ж н о и сп о л н я ть ся н а б о р то в ы х
в ы ч и сл и те л ь н ы х ср е д ств а х
(а п п а р а тур а + П О ) в р е а л ь н о м в р е м е н и
ООП
- К ом п он ен тн ы й п одход ;
- Ш абл он ы П О А И С
Р азр аботк а ц и к л ов р еал ь н ого в р ем ен и
П р оек ти р ов ан и е и р еал и зац и я в ы сок оур ов н ев ы х
ал гор и тм ов обр аботк и дан н ы х
НПК Алферьево 2015
18
Slide 19
Методы решения задач представления окружающего
пространства и решения в нём навигационной задачи
Схема «навигационный крест».
ГРНС
ИН
СУ МР
ТНС
Оператор
Здесь ГРНС - глобальная радионавигационная спутниковая система; ТНС традиционная навигационная система, включающая в себя процессы счисления
пути и подкорректировки по ориентирам; ИН - интерпретирующая навигация.
Slide 20
Концепция интерпретирующей навигации (ИН)
Суть интерпретирующей навигации (ИН) заключается в том, что положение МР на местности
определяется не в абсолютной системе координат (АСК), а на основе динамики изменений
описания видимой окрестности среды. Аналог количественной модели АСК выступает
качественная модель – граф информационной эквивалентности (ГИЭ).
Локализация МР определяется топологическим описанием его отношения со средой типа: «в
помещении А», «напротив двери» и т.п.
Переход к геометрическому моделированию объектов (определения векторов характеристик
положения, ориентации) осуществляется абсолютной интерпретацией относительных описаний
только по мере необходимости решения специальных задач (определение начального и конечного
положений МР, приближения на заданное расстояние, занятие определенного положения с заданной
ориентацией, манипулирования объектами и т.п.)
Основой навигации служат ориентиры – «точечные» особенности среды в дальнометрическом
описании (отдельные объекты среды или их части). Эти ориентиры разбивают всю область
функционирования робота на районы информационной эквивалентности (И.Э.). Положение МР
(без привязки к (АСК) определяется характерным размером района и.э. Каждому району и.э.
соответствует абсолютное описание – упорядоченная по углу наблюдаемая видимая
последовательность ориентиров – кольцо.
Выбор пути может быть осуществлен по связной цепочке районов и.э.
План двигательного поведения представляет собой последовательность поведенческих актов (ИДД)
переход между которыми осуществляется по наступлении определенного события.
НПК Алферьево 2015
20
Slide 21
Методы решения задач представления окружающего
пространства и решения в нём навигационной задачи
Способы задания и реализации пути.
Способ задания пути
Вспомогательные действия
Координатный:
последовательность точекподцелей
Планирование сопутствующих
навигационных измерений
Интерпретирующий:
последовательность
предложений на языке ИН
Отсутствуют
Смешанный:
последовательность
подцелей
Трансляция пути на язык ИН
точек-
НПК Алферьево 2015
Особенности реализации
движения
Движение в заданную точку с
подкорректировкой по
ориентирам
Движение в заданный район и.э.
на
основе
данной
совокупности
ИДД
Движение на основе
совокупности ИДД;
определение конечного
положения в ДСК
21
Slide 22
Использование программных каркасов
Примеры программных каркасов:
Каркас – заготовка приложения СТЗ для доработки
применительно к конкретной задаче.
• National Instruments LabVIEW
• Графы фильтров Microsoft DirectShow
• Потоковая архитектура для обработки данных
в мультимедиа-системах Flow Sheduling
Framework
Проблемы применения в СТЗ:
•Возможность изменения цикла реального времени
• Учет неравномерности обработки зрительных данных
• Продолжительный этап опытной
эксплуатации/отладки
Slide 23
Компонентный каркас для разработки
ПрО СТЗ реального времени
Режимы функционирования
П од с и сте м а
и н те р ф е й с а
п ол ь зо вател я
П од с и сте м а
о б р а б отки
и зо б р а ж е н и й
О бъ е кт
“Б уф е р к а д р а ”
П од с и сте м а в вод а
зр и тел ь н ы х д а н н ы х
О бъ е кт
“Реж и м н а стр о й ки ”
З а п усти ть
В кл ю ч и ть
Координация
взаимодействия
подсистем –
объекты-режимы
В ы п ол н и ть р е ги стр а ц и ю кл и е н та
Увед о м л е н и е о с ъ е м е к а д р а
О ткр ы ть буф е р и зо б р а ж е н и я
К о п и р о вать
Режим настройки:
З а кр ы ть буф е р и зо б р а ж е н и я
П ол у ч и ть
и зо б р а ж е н и е
• проверка аппаратной
части
• проверка обработки
изображений
О б р а б отать и зо б р а ж е н и е
О то б р ази ть те к ущ и е
р езул ьтаты о б р а б отки
• просмотр результатов
В ы к л ю ч и ть
О тм е н и ть р е ги стр а ц и ю кл и е н та
НПК Алферьево 2015
23
Slide 24
Компонентный каркас для разработки
ПрО СТЗ реального времени
Режимы функционирования
П од си сте м а
и н те р ф е й са
п ол ьзо вател я
П од си сте м а
о б р а б отки
и зо б р а ж е н и й
О бъ е кт
“А вто м ати ч е ски й
р еж и м ”
П од си сте м а в вод а
зр и тел ь н ы х д а н н ы х
З а п усти ть
В кл ю ч и ть
Координация
взаимодействия
подсистем –
объекты-режимы
В ы п ол н и ть р е ги стр а ц и ю кл и е н та
Увед о м л е н и е о съ е м е к а д р а
О ткр ы ть буф е р и зо б р а ж е н и я
О б р а б отать и зо б р а ж е н и е
Автоматический режим:
О то б р ази ть р езул ьтаты
З а кр ы ть буф е р и зо б р а ж е н и я
• Обработка в реальном
времени
• Отключение буфера
кадра
О то б р ази ть
те кущ и е
р езул ьтаты
о б р а б отки
В ы кл ю ч и ть
О тм е н и ть р е ги стр а ц и ю кл и е н та
НПК Алферьево 2015
24
Slide 25
Компонентный каркас для разработки
ПрО СТЗ реального времени
Высокоуровневые алгоритмы обработки
Объект класса CVSAlgPrc
подключается к
подсистеме обработки
изображений
IP e rsista n ce P a rm sC o n ta in e r
К о нт е й не р хр а ни м ы х па р а м е т р о в
1
n
C A lg P rc
C A lg D a ta R e c o rd
В ы со ко ур о вне вы й а л го р и т м
о б р а б о т ки зр и т е л ьны х д а нны х
С V S A lg P rc
В ы со ко ур о вне вы й а л го р и т м
о б р а б о т ки зр и т е л ьны х
д а нны х пр и кл а д но й С Т З
Р е зул ьт а т ы о б р а б о т ки
и зо б р а ж е ни я
C V S A lg P rc _ B o tto m T o p
А л го р и т м ст р укт ур ы
« о б р а б о т ка сни зу-вве р х»
C V S A lg P rc _ T o p B o tto m
А л го р и т м ст р укт ур ы
« о б р а б о т ка све р ху-вни з»
C P re d ic tio n
П р о гно з зна че ни й па р а м е т р о в
о б ъ е кт о в и нт е р е са
НПК Алферьево 2015
25
Slide 26
Постановка задачи
На основании уже достигнутого уровня (пример проект X47) можно
спрогнозировать быстрой рост автономности будущих БПЛА с
одновременным ростом их «интеллекта».
Накопленный научно-технический задел по разработке
информационно-управляющей авионики для пилотируемых летательных
объектов позволяет ОАО «РПКБ» приступить к проектированию
комплекса пилотажно-навигационного оборудования (КПНО) для
интеграции в беспилотную систему.
На первом этапе работ ставится задача разработать общую
компоновку бортового комплекса, исследовать программно-аппаратную
архитектуру, оценить возможности интегрируемой системы технического
зрения (СТЗ) при решении задач информационного обеспечения
автоматического движения летательного аппарата по взлётнопосадочной полосе и совершении взлёта и посадки. Отработка и
экспериментальная проверка предлагаемых решений производится на
лёгком пилотируемом летательном аппарате.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
26
Slide 27
Требования к КНПО
Критерием, определяющим выбор состава и структуры комплекса, может
служить гарантированность навигационного определения, как
вероятность того, что в любое время и в любой точке пространства
навигационный комплекс обеспечит потребителя информацией,
достаточной для решения его задач с точностью не ниже требуемой.
Отсюда вытекают требования к разработке КНПО:
разработка математического обеспечения,
содержащего комплекс унифицированных программных модулей;
разработка способов управления;
конструктивно-функциональная интеграция,
обеспечивающая оптимальное использование
функциональной избыточности
открытость архитектуры, обеспечивающая за весь период
эксплуатации самолета возможность замены или наращивания КПНО
новыми перспективными датчиками и решаемыми задачами.
отработка и экспериментальная проверка предлагаемых
решений
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
27
Slide 28
Состав КНПО
пилотажно-навигационное средство (ПНС) 2 шт.
с встроенными вычислителями:
спутниковая навигационная система (СНС);
система воздушных сигналов (СВС);
система технического зрения (СТЗ) в составе:
вычислительно-управляющий блок (ВУБ) 2 шт.;
камера высокого разрешения оптического диапазона 4 шт.;
приемная антенна СНС ГЛОНАСС/GPS с разветвителем
сигнала (РС);
приемник воздушного давления (ПВД);
система курсовертикали (СБКВ) 2 шт.;
многофункциональный индикатор (МФИ) 2 шт.;
пульт управления индикацией (ПУИ) 2 шт.
-
–
–
–
–
–
–
–
–
–
–
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
28
Slide 29
Состав КНПО
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
29
Slide 30
Задачи СТЗ
•непрерывное автоматическое определение относительных координат и
скорости самолета в инерциальной системе координат, заданной
относительно ВПП;
•непрерывное автоматическое определение параметров угловой
ориентации самолета, в том числе:
•при движении по аэродрому (рулении, разбеге и пробеге) – угла
ориентации продольной оси связанной с самолетом системы координат
относительно продольной оси ВВП (или другой линии, задающей
направление движения);
•в полёте (в том числе, на взлете, заходе на посадку и посадке):
– углов тангажа и крена самолета (при условии видимости линии горизонта в
одном из полей зрения СТЗ );
– угла ориентации продольной оси связанной с самолетом системы координат
относительно продольной оси ВВП;
– угла наклона траектории (угол между касательной к траектории в
вертикальной плоскости и плоскостью поверхности ВПП).
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
30
Slide 31
Точности решаемых задач
сверхвысокую (для обеспечения режимов посадки и сближения объектов при
дозаправке):
а) по координатам – 2÷4 м;
б) по высоте – 0,5 м;
в) по составляющим скорости – 0,01 м/с;
г) по времени – 0, 3 мс;
высокую (при заходе на посадку, для обеспечения встречи в воздухе и управления движением):
а) по координатам – 100 м;
б) по высоте – 10 м;
в) по составляющим скорости – 0,1 м/с;
г) по времени –3 мс;
среднюю (при вождении по маршруту):
а) по координатам – 500 м;
б) по высоте – 50 м;
в) по составляющим скорости – 1 м/с;
г) по времени – 3 0мс;
низкую (при полётах по маршруту в отдалённых районах, для обеспечения вывода
БПЛА в район действия корректирующих систем):
а) по координатам – 5 км;
б) по высоте – 0,5 км;
в) по составляющим скорости – 5 м/с;
г) по времени – 300 мс;
Slide 32
Примеры изображений
Примеры изображение ВПП с разметкой.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
32
Slide 33
Примеры изображений
Пример изображения (компьютерной модели) ВПП в
поле зрения камеры, установленной на борту ЛА.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
33
Slide 34
Режимы функционирования КПНО,
в которых задействована СТЗ
•“Предполетная подготовка”;
•“Руление по ВПП”;
•“Разбег и взлет”;
•“Заход на посадку”;
•“Посадка и пробег”.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
34
Slide 35
Алгоритмы обработки зрительных данных
Решение задач зрительного анализа объединением подходов «снизувверх» и «сверху-вниз».
Примерами низкоуровневых алгоритмов являются алгоритмы
обнаружения характерных признаков на изображениях – отрезков,
краев, углов, окружностей и т.п.
В каркасе ПО СТЗ предусмотрены средства отладки и контроля масштаба
реального времени. Пороговые ограничения по длительности обработки
поступающих изображений динамически вычисляются в процессе
обработки очередного кадра.
Высокоуровневые алгоритмы обработки зрительных данных в ПО СТЗ
выполняют обработку, ориентированную на осуществление каждого из
выделенных режимов функционирования ЛА. В этих алгоритмах
выделяется набор последовательно выполняемых этапов обработки
зрительных данных, успешное выполнение которых приводит к
принятию решения об обнаружении образов объектов интереса.
Slide 36
Эксперименты по компоновке
макета СТЗ и реализации ПО
Характеристики камер:
• разрешение 2,3 – 5 Мб (1920x1200, 2592x1944, RGB);
• выход: цифровая форма представления видеосигнала высокого
разрешения без сжатия, упакованная для передачи по гигабитной
сети;
• прогрессивная развёртка (доступ к произвольным фрагментам
растра), предусматривает возможность передачи по каналам
связи и предоставления на обработку в вычислительное
устройство только необходимых зрительных данных, а не всего
кадра;
• управление объективом с автоматическим
диафрагмированием;
• внешняя синхронизация.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
36
Slide 37
Эксперименты по компоновке
макета СТЗ и реализации ПО
Вычислительно-управляющие блоки (ВУБ) в составе макета
СТЗ имеют следующие характеристики:
• процессор: Intel Core i7 с частотой 3,3 ГГц;
• оперативная память: 16 Гб;
• накопитель твердотельный;
• 4 сетевых канала Gigabit Ethernet.
Каждый ВУБ обслуживает в режиме реального времени (с
частотой от 15 до 30 Гц) одну стереопару.
Всё оборудование питается от бортовой сети ЛА.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
37
Slide 38
«горизонтальная» стереопара
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
38
Slide 39
Камеры «вниз смотрящей» стереопары
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
39
Slide 40
Калибровочные стенды
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
40
Slide 41
Заключение
Проведённые эксперименты по компоновке,
оценке точности и быстродействия системы
технического зрения в составе системы
информационного обеспечения СУ ЛА
показали эффективность (соответствие ТЗ)
предложенных решений и позволили
перейти к лётным экспериментам.
01.11.2015
10-я НПК "Перспективные системы и задачи управления"
41