Transcript Introducción a SDMX

Seminario para contribuir a la modernización de la transmisión
de datos y metadatos estadísticos en la región de América Latina
y el Caribe
A – Introducción
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
A.2 – Por qué SDMX – importancia de SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
2
Statistical Data and Metadata eXchange
SDMX
ISO TS 17369
UNSD
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
World Bank
3
¿Por qué SDMX?
Falta de estandarización en intercambios de datos o entre organizaciones
Diferentes formatos de
Diferentes lugares para almacenar datos y metadatos
Datos y metadatos
EDIFACT
XML
Diferentes medios
Formato
papel
Correo electrónico
Formato Web
Teléfono
Ficheros Estructurados
Medios extraíbles Subida de ficheros Papel
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
4
Qué es SDMX
 Un modelo para describir datos y metadatos estadísticos
 Un estándar para la comunicación automática de máquina a
máquina
 Una tecnología que soporta herramientas de TI estandarizadas.
Con el fin de sacar partido a lo siguiente:
 Los estadísticos coinciden en el uso de una descripción común
de datos y metadatos
 El proceso de intercambio de datos es manejado por la
descripción común
 Las descripciones de datos se ponen a disposición de todo el que
quiera entender y reutilizar los datos
Esto es lo que SDMX proporciona y habilita
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
5
¿De la versión 1.0 a la versión 2.1 hasta…?
Versión 1.0
GESMES/TS
ISO/TS 17369
Versión 2.0
SDMX-EDI
SDMX-ML
Registro SDMX
Versión
1.0
Septiembre 2004
Versión
2.0
Noviembre 2005
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
En 2008
SDMX se acepta a
nivel de Naciones
Unidas
Se reconoce y
soporta SDMX como
estándar preferido
Febrero 2008
SDMX
2.1
Abril 2011
6
Todos los buenos estándares cambian…
 Todos los estándares cambian con el tiempo, y se
lanzan como una serie de versiones
 Los cambios siempre tienen cierto impacto en los
usuarios
– No siempre se espera que los usuarios usen la última
versión de un estándar
– Las organizaciones estándar (como SDMX) tienen que
proporcionar soporte para varias versiones del estándar,
todas las que estén en uso
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
7
Cambio en la gestión
 Peligro (1): demasiados cambios pueden disuadir
su adopción
 Peligro (2): el no dar a los usuarios las
funcionalidades que quieren desalentará su
adopción
Se necesita encontrar un equilibrio
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
8
Algunos beneficios de los estándares SDMX
 SDMX proporciona soporte para cosas que son esenciales para
los estadísticos, pero que a menudo les resultan difíciles de
lograr
 Un estándar internacional para agrupar todos los elementos
involucrados en el proceso estadístico dentro de un modelo de
información claro
 Un enfoque que maximiza la cantidad de información sobre el
contexto estadístico que se puede entregar a los usuarios, y la
capacidad de enlazar estadísticas entre fuentes similares o
diferentes
 La automatización de procesos: SDMX permite el desarrollo de
herramientas comunes que pueden usarse por todas las
organizaciones estadísticas para mejorar sus actividades
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
9
Beneficios de los estándares SDMX (2)
Organización Estadística
SDMX es también un estándar avanzado
para el descubrimiento de datos con el uso
de servicios basados en web
Los servicios web permiten la consulta,
visualización y carga automática de datos y
metadatos. Las herramientas SDMX
permiten consultar una base de datos, o un
sistema de ficheros, para la creación de
tablas, cuadros, y gráficos a partir de los
resultados de la consulta
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
“SDMX
Reference
Infrastructure”
Organización Estadística
“SDMX
Reference
Infrastructure”
10
Producción / procesamiento de datos: lo que SDMX puede
mejorar
 Estándar internacional:
- Evita la duplicación de esfuerzos en el desarrollo y mantenimiento
de herramientas de TI
- Crea un fondo común de habilidades y recursos (comunidad de
desarrolladores)
 Estandariza la estructura de conjuntos de datos y el formato
de transmisión
- Se reemplazan formatos heterogéneos por uno estándar
- Las nuevas recopilaciones de datos comienzan con una estructura
estandarizada
 Validación de datos
- SDMX permite detectar las inconsistencias de una estructura de
datos en un estadio temprano del procesamiento
 Aumento de la eficiencia
- Más tiempo para el análisis de datos y comprobaciones de la
calidad de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
11
Por qué SDMX - Resumen
 El intercambio y difusión de datos estadísticos es complejo,
caro, y consume recursos intensamente
 Los mismos datos se almacenan en múltiples ubicaciones
 Los datos y metadatos a menudo no son reutilizables durante
la recopilación, compilación, análisis, transmisión, difusión
 Varias organizaciones internacionales tienen estándares
técnicos en propiedad para el intercambio de datos con sus
constituyentes
 Los estándares combinan problemas específicos de
“contenido” con soluciones técnicas
 Los estándares múltiples provocan una carga adicional de
informes
 Transición de una transmisión punto a punto a una red
mundial (XML, servicios web)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
12
A.3 – Implementación del sistema de intercambio
de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
13
A.4 – Elementos básicos SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
14
Los componentes SDMX
Especificaciones Técnicas
El Modelo de Información
SDMX
Guías para la
armonización de
contenido
Guías orientadas al
contenido (COG)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Herramientas
Arquitecturas de TI para el
intercambio de datos
Herramientas basadas en
SDMX
15
Descripción del intercambio de datos
¿Quién?
¿Cuándo?
¿Cómo?
¿Qué?
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
¿Quién?
¿Dónde?
¿Qué?
16
Modelo de Información SDMX (“metamodelo”)
Proporciona una forma de modelar datos, metadatos y procesos de
intercambio
Definición de Estructura de Datos (DSD)
Dimensiones
(ej: país,
variable/tema, año)
Estructura de
Listas de códigos
Conjunto de
Datos
Metadatos
Estructurales
Atributos
(ej: unidad de
medida)
Identifican/Describen
Datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Metadatos sobre un valor
individual, una serie
temporal o un grupo de
series temporales
17
Guías orientadas al contenido
Listas de códigos y conceptos de dominio transversales
Dominios de temas estadísticos
Vocabulario común de metadatos
Recomendaciones para armonizar
las implementaciones
Organización 1
Organización 2
interoperabilidad
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Organización 3
interoperabilidad
18
Listas de código y conceptos de dominio
transversal
Conjunto de
conceptos
usados
Dominio 1
Conceptos
de dominio
transversal
FREC
REF. AREA
COMPARABILIDAD
Dominio 2
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
19
Vocabulario común de metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
20
Dominios de temas estadísticos
Basados en la Clasificación de Actividades Estadísticas Internacionales de la
Comisión Económica de las Naciones Unidas para Europa (UNECE)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
21
Uso de conceptos de dominio transversal
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
22
Definición de Estructura de Datos: uso de concepto
País
(Dimensión)
Existencias/Flujo
(Dimensión)
Unidad Múltiplo
(Atributo)
Unidad
(Atributo)
Tiempo/Frecuencia
(Dimensión)
Tema
(Dimensión)
(Dimensión)
Observación
(Medida)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
23
Definición de Estructura de Datos:
definición de estructuras multidimensionales
 Comprende
–Dimensión
Concepts que identifica al valor de observación
–es
Concepts que añaden metadatos adicionales sobre el
Atributos
valor de observación
–Medida
Concept que es el valor de observación
– Cualquiera de estos pueden ser:
• codificados
• texto
• fecha/tiempo Representación
• número
• etc.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
24
SDMX describe el intercambio de datos y metadatos
A finales de junio
Acuerdo de provisión
Esquema de organización
mantenedor
Registro
SDMX
Esquemas de conceptos
Listas de códigos
DSD
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Conceptos
25
Arquitectura del repositorio de datos
(Almacén de datos)
registro
consulta
NSI
P
U
L
L
Demandante
“Pull” de
Eurostat
Datos recibidos
en
SDMX-ML
Cargador
Eurobase
Difusión
eDAMIS
P
U
S
H
Registro SDMX
Entrada de Datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Verificación /
Conversión
a SDMX
Almacén
intermedio
XSL para
SDMX-ML
Reservas
en almacén
26
Los componentes
SDMX
Data
warehouse
Data
warehouse
Data
warehouse
SDMX-RI
messages
(web service)
SDMX-RI
Data Hub
(web service)
SDMX-RI
(web service)
Data Providing Organizations
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Data collector Organizations
Users
27
Progreso del SDMX, 2011 hasta 2015
 Desarrollo de estándares: Abril 2011, estándares técnicos
SDMX 2.1 lanzados en sdmx.org
 Difusión: Mayo 2011, SDMX Global Conference
Se pueden obtener ocho tutoriales de e-learning de la
plataforma CIRCA
 Gobernabilidad: Creación de dos Grupos de Trabajo SDMX
Working Groups (Grupo de Trabajo Técnico y Grupo de
Trabajo Estadístico)
 Plan de Acción 2011 hasta 2015
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
28
Cómo
saber más
acerca de
SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
29
http://sdmx.org/
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
30
http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAT
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
31
https://webgate.ec.europa.eu/fpfis/mwikis/sdmx
Cursos de formación sobre SDMX
 SDMX elemental (para estadísticos y personal de TI)
Tiene lugar en Eurostat. Dirigido a personas responsables de la
gestión y difusión de datos y metadatos basados en SDMX.
 Curso avanzado sobre SDMX (para desarrolladores de TI)
Tiene lugar en Eurostat. Dirigido a desarrolladores de TI y
propuesto en dos versiones:
programadores JAVA
programadores .NET
 Curso ESTP sobre “Tecnologías avanzadas para la
recopilación y difusión de datos”
Externo
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
33
Para más información
http://www.sdmx.org (Página web de SDMX)
https://webgate.ec.europa.eu/fpfis/mwikis/sdmx (Espacio de
información de Eurostat)
[email protected] (Información general sobre SDMX)
[email protected] (Proyectos de implementación de
Eurostat)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
34
A.5 – Herramientas SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
35
Software de código abierto para SDMX
Convertidor SDMX
Convierte ficheros de datos de formatos SDMX a
otros formatos de ficheros
Registro SDMX
Un repositorio central para almacenar y compartir
artefactos SDMX
Asistente de Estructura de
Datos(DSW)
Usado para crear, editar y probar artefactos
SDMX
Infraestructura de Referencia (SDMXRI)
Un conjunto de herramientas que permite
conectar sus sistemas TI al mundo SDMX
Asistente de Mapeo
Generador XSD
Mapeo y transcodificación de los contenidos de
una base de datos existente a estructuras de
datos SDMX
Genera un esquema de definición XML estándar
para una DSD SDMX dada
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
36
Convertidor SDMX
 Convierte desde todos los formatos existentes de la versión
2.0 estándar de SDMX (genérica, compacta, de utilidad y
transversal) así como de GESMES (SDMX-EDI 2.0) FLR y
formatos CSV.
 La interacción con el Convertidor es posible mediante el uso
de una Interfaz Gráfica de Usuario (GUI), intefaz de línea de
comandos (CLI) y vía su API de programación.
 La interfaz de Servicio Web ofrece la posibilidad de exponer
las funcionalidades del Convertidor en la Web. Los clientes
pueden hacer una llamada al servidor de la aplicación donde
el servicio del Convertidor se encuentre desplegado.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
37
Registro SDMX
 Registro de metadatos que implementa al registro de
especificaciones SDMX
 El Registro SDMX tiene como tarea el proporcionar una
estructura, organización, y mantenimiento e interfeaces de
consulta para la mayoría de componentes SDMX necesarios
para el soporte de la visión de los datos a compartir
 Proporciona una interfaz de usuario basada en web así como
servicios web para interactuar con los objetos de metadatos
estructurales SDMX en uso dentro de Eurostat y con socios
estadísticos.
 El registro sólo se preocupa de proporcionar la información
necesaria para acceder a los conjuntos de datos y metadatos de
referencia
 Una aplicación que quisiera un conjunto de datos o metadatos
concreto consultaría entonces al registro acerca de la URL, y
entonces iría y obtendría el conjunto de datos o metadatos
directamente del servidor web del proveedor.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
38
Asistente de Estructura de Datos DSW
 Una aplicación individual de Java que soporta la versión 2 del
estándar SDMX.
 Puede usarse tanto offline como online, dependiendo de la
elección del usuario y sus derechos de acceso.
 Permite el mantenimiento de los siguientes artefactos SDMX
v2.0: Definiciones de Estructuras Datos, Listas de Códigos,
Esquemas de Concepto, Flujos de Datos, Listas de Códigos
Jerarquizadas, Esquemas de Categoría y Esquemas de
Organización.
 Posibilidad de crear dinámicamente una plantilla para una
DSD especificada en formato SDMX v2.0.
 Proporciona un mecanismo para importar/exportar
definiciones DSD SDMX-ML v2.0 y un mecanismo para
importar/exportar definiciones DSD desde/a ficheros de
estructura GESMES/TS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
39
Infraestructura de Referencia SDMX (SDMX-RI)
 Una infraestructura generalizada de servicios que puede
reutilizarse parcial o completamente por una organización
interesada en empezar proyectos SDMX para el intercambio
de datos.
 Estos son los modelos más comunes de Infraestructura de
Referencia SDMX:
– Parseador de Consultas SDMX
– Recuperador de Datos
– Recuperador de Estructuras
– Generador de Datos SDMX
– Asistente de Mapeo
 Dos componentes web:
– Cliente Web
– Proveedor de Servicios Web
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
40
Asistente de Mapeo
 Facilita el mapeo entre los metadatos estructurales
proporcionados por una Definición de Estructura de Datos
SDMX-ML (DSD) y aquellos que residen en una base de
datos de un entorno de difusión.
 Mantiene un Almacén de Mapeo para guardar los mapeos
entre SDMX y el esquema de almacenaje de datos locales
 En la Infraestructura de Referencia SDMX, proporciona
información de mapeo para el Recuperador de Datos.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
41
Generador XSD
 Produce Definiciones XML de Esquemas (XSD) basadas en
una DSD recibida
 Produce esquemas XSD para formatos Compactos,
Transversales o de Utilidad para el estándar SDMX v2.0, y
pueden usarse:
–
–
–
–
Como un bloque de construcción reutilizable, a través de su API.
A través de una Interfaz Gráfica de Usuario (GUI) individual
A través de una Interfaz de Línea de Comandos (CLI)
A través de una GUI Web
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
42
Relaciones entre Herramientas – Ejemplo
Produce
DSW
Almacena
DSD
Registro
SDMX
DSD
usa
Convertidor
Produce
Produce
Conjunto
de Datos
SDMX
usa
SDMX-RI
usa
Asistente de
Mapeo
Produce
Mapeo
Fichero
CSV
Base de
Datos
Nacional
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
43