Transcript Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3

Escuela Politécnica
Superior de Jaén
Universidad de Jaén
USO AVANZADO DEL
SISTEMA DE VISIÓN
ESTEREOSCÓPICA
BUMBLEBEE XB3
José Manuel Fuertes García
Manuel José Lucena López
Departamento de
Informática
Francisco Javier Carrascosa Malagón
ÍNDICE
1.
2.
3.
4.
5.
6.
7.
Propósito y Objetivos
Visión Estéreo
Bumblebee XB3
Desarrollo Software
Demo
Conclusiones
Trabajo Futuro
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
PROPÓSITO Y OBJETIVOS
Propósito
1. Estudiar a Bumblebee XB3 y su SDK de visión estéreo Triclops.
2. Documentar la biblioteca de Triclops y crear una aplicación de
reconstrucción 3D a partir de la misma.
Objetivos
1.
2.
3.
4.
5.
6.
Estudio del proceso genérico de la visión estéreo y productos comerciales.
Estudio e instalación de Bumblebee XB3.
Estudio y documentación de la biblioteca Triclops.
Captura de datos con Bumblebee XB3.
Desarrollo software de una aplicación de reconstrucción 3D de una escena.
Redacción de una memoria.
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
VISIÓN ESTÉREO
Sistema Biológico
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
VISIÓN ESTÉREO
Sistema Artificial
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
BUMBLEBEE XB3
Características Básicas
1. Tres cámaras.
2. Proceso estéreo bifocal.
3. Líneas base de 12 y 24 cm.
4. Resolución 1280 x 960 a 16 FPS.
5. Propósito general.
6. Bibliotecas FlyCapture y Triclops
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
BUMBLEBEE XB3
Flujo SDK Triclops
Imágenes RAW
Preprocesamiento
Imágenes
Preprocesadas
Procesamiento
Estéreo
Mapa de
Disparidad
y
Nube de Puntos
Tiempo Real
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
BUMBLEBEE XB3
Interfaz de Programación de Triclops
1. Control total:
a. Parámetros.
b. Propiedades.
c. Funciones.
2. Modularidad:
a. Actuación del programador en
cualquier instante (mejoras,
comprobaciones, etc.).
3. TDAs:
a. No es una biblioteca OO.
b. Flujos de datos.
c. La programación se puede realizar
OO.
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Documentación
Código
Ejemplos
Francisco Javier Carrascosa Malagón
DESARROLLO SOFTWARE
Aplicación
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
DESARROLLO SOFTWARE
Modelo del Dominio
Bumblebee XB3
- Parámetros
genera
1
*
Punto3D
Estación
- Nombre
- Visible
tiene
1
*
Toma
- Nombre
- Visible
1
1
cambia
1
Transformación3D
- TraslaciónX
- TraslaciónY
- TraslaciónZ
- RotaciónX
- RotaciónY
- RotaciónZ
posee *
1
-X
-Y
-Z
-R
-G
-B
cambia
1
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
DESARROLLO SOFTWARE
Arquitectura del Sistema
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
DEMO
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
CONCLUSIONES
1. Estudio del proceso genérico de la visión estéreo y productos
comerciales.
2. Estudio e instalación de Bumblebee XB3.
3. Estudio y documentación de la biblioteca Triclops.
4. Captura de datos con Bumblebee XB3.
5. Desarrollo software de una aplicación de reconstrucción 3D de una
escena.
6. Redacción de una memoria.
Bumblebee XB3 y Triclops son una buena combinación.
a. Precisión en la profundidad de los bordes.
b. La profundidad se conserva.
c. Adaptación en tiempo real.
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
TRABAJO FUTURO
1. Adaptación de los puntos a las superficie reales.
a. Inferencia a un mismo plano.
b. Integrar con otro tipo de información (planos de un edificio, por
ejemplo).
c. Coordinar el proceso con otros dispositivos de captura de
diferentes características.
2. Georreferenciación de las estaciones desde donde se realizan las
capturas.
3. Transformación automática de los puntos en la reconstrucción virtual.
a. Mediante giroscópios y acelerómetros.
b. Técnicas específicas.
4. Eliminación de puntos duplicados al solaparse distintas tomas.
5. Evitar mantener en memoria la ingente cantidad de puntos.
6. Extender la jerarquía de estaciones y tomas a n-niveles.
Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3
Francisco Javier Carrascosa Malagón
¡GRACIAS!