Transcript Herramientas básicas SDMX

Seminario para contribuir a la modernización de la transmisión
de datos y metadatos estadísticos en la región de América Latina
y el Caribe
C – HERRAMIENTAS SDMX BÁSICAS
(sólo para estadísticos)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
C.3 – Conversión de un mensaje de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
2
FORMATOS DE DATOS
 Basado en un Modelo de Información común
– SDMX-EDI (GESMES/TS)
• Sintaxis EDIFACT
• Orientado a serie temporal – Un formato para
conjunto de datos
– SDMX-ML
• Sintaxis XML
• Cuatro formatos diferentes para Conjuntos de
Datos
• Una validación más fácil (basada en XML)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
3
Encabezados comunes de datos SDMX
Element
id
test
truncated
name
prepared
senderid
sendername
sendercontactname
sendercontactdepartment
sendercontactrole
sendercontacttelephone
sendercontactfax
sendercontactx400
sendercontacturi
sendercontactemail
receiverid
receivername
receivercontactname
receivercontactdepartment
receivercontactrole
receivercontacttelephone
receivercontactfax
receivercontactx400
receivercontacturi
receivercontactemail
datasetagency
datasetid
datasetaction
extracted
reportingbegin
reportingend
source
lang
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Example
TEST0000
true
false
FISH_AQ_TEST
2010-30-01T09:30:47+01:00
ESTAT
Eurostat
G. Smith
Statistics
Response
0210 2222222
0210 00010999
www.sdmx.org
[email protected]
NSI_GB
CSO
P. Mustermann
Statistics
Statistician
02101234567
02103810999
www.sdmx.org
[email protected]
ESTAT
FISH_AQX
Append
2010-30-01T09:30:47+01:00
2008-01-01T00:00:00
2008-12-31T00:00:00
DH
en
4
Mensajes de datos SDMX
Representaciones equivalentes para la presentación de conjuntos de datos
Versión 2.0
4 mensajes de datos,
cada uno con un formato
bien diferenciado.
DatosGenéricos
Versión 2.1
Por tanto, ahora hay 4
mensajes de datos basados en
dos formatos generales:
• DatosGenéricos
DatosSerieTemporalGenéricos
Datos Transversales
Datos Compactos
Datos de Utilidad
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
• DatosEstructuraEspecífica
DatosSerieTemporalEstructuraEspecífica
Obsoletos
5
Ejemplo de Mensaje SDMX-ML Genérico
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
6
Ejemplo de Mensaje SDMX-ML Compacto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
7
Ejemplo de Mensaje SDMX-ML Transversal
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
8
Conversiones SDMX v2.0
Formatos equivalentes
SDMX-ML Compacto
Basada
en el
mismo
IM
Excepciones:
Si una DSD Transversal
NO contiene una
dimensión de tiempo
SDMX-ML Genérico
SDMX-ML Transversal
Puede expandirse a otros formatos
(ej: CSV, GESMES)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
9
Convertidor SDMX
Leer el mensaje de entrada
Parseo
Poblar el modelo de
datos de la
herramienta (basado
en el modelo de
información SDMX
v2.0)
Escribir el mensaje convertido
Usa el modelo de datos para
escribir el mensaje de salida en
el formato objetivo requerido.
Información recuperada desde el Registro
Se usa una ID de flujo de datos
para recuperar la definición de
flujo de datos del Registro.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
La ID de la DSD, su versión y ID de
agencia se recuperan de la definición de
flujo de datos y se usan para adquirir la
DSD
10
Funcionalidad principal del Convertidor SDMX
Uso principal: Conversión CSV  SDMX-ML Compacto
Conversiones posibles
CSV
CSV
SDMX-ML Compacto
SDMX-ML Compacto
SDMX-ML Genérico
SDMX-ML Genérico
SDMX-ML de Utilidad
SDMX-ML de Utilidad
SDMX-ML Transversal *
SDMX-ML Transversal
SDMX-EDI (GESMES/TS)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
SDMX-EDI (GESMES/TS)
11
Seleccionar el fichero de salida
Seleccionar el fichero de
entrada
Seleccionar los formatos de entrada y salida
Seleccionar la DSD en la unidad local
Seleccionar / gestionar
encabezados para
formatos de entrada CSV
Identificar una DSD
a descargar desde
el Registro SDMX
Identificar un flujo de datos vinculado a
la DSD a descargar desde el Registro
SDMX
Parámetros CSV
Seleccionar tablas de
mapeo / transcodificación
Representación GESMES
para formatos de salida
GESMES
Parámetros XML para
formatos de salida SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Cargar / guardar los ajustes
actuales
C.4 – Definición de Estructura de Metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
13
Ejemplo Práctico
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
14
Ejemplo de metadatos de referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
15
Ejemplo de metadatos de referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
16
Ejemplo de metadatos de referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
17
Definición de Definición de Estructura de Metadatos
 Las Tareas
1. Análisis de un conjunto de metadatos completo para identificar y
documentar los “Conceptos” para los que se han de presentar o
diseminar metadatos.
2. Determinar la estructura del “Informe de Metadatos” en relación a
los conceptos usados, la jerarquía de los conceptos cuando se
usan en el informe, y su “representación” (ej: ¿se está usando
una lista de códigos? ¿es el formato de texto libre?).
3. Especificar el “objeto tipo” con el que se han de asociar los
metadatos, y cómo se identifica este tipo de objeto: el
conocimiento del Modelo de Información SDMX se muestra útil en
este caso (ya que los metadatos sólo pueden asociarse con tipos
de objetos que pueden identificarse en relación a los tipos de
objetos que existen en el modelo de información).
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
18
Definición de Estructura de Metadatos
 Un conjunto de metadatos de referencia tiene un conjunto de
metadatos estructurales que describe como se organizan. Estos
metadatos identifican
– qué conceptos de metadatos de referencia se están presentando
– cómo se relacionan estos conceptos entre ellos (normalmente
como jerarquías),
– cómo se pueden representar (como texto libre, como valores
codificados, etc.)
– cuál es la función de su uso (obligatorio o condicional)
– con qué tipos de objetos SDMX formales se asocian
 Una MSD comprende dos partes fundamentales:
– El Tipo de Objeto(s) con los que los metadatos se pueden asociar
– Los Conceptos para los que los metadatos se han de presentar
• estos conceptos se agrupan bajo una (o más) Estructura de
Informe(s)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
19
Estructura del Informe de Metadatos –
Información de Contacto
 En este caso, no hay un nombre individual, sólo la organización y la
unidad de organización. Además, no existe un número de teléfono o
de fax, sólo una dirección web de contacto.
 De esta información se puede obtener la siguiente estructura de
informe y conceptos subyacentes.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
20
Estructura del informe de metadatos –
Información de contacto
La definición real del concepto se encuentra en el Esquema de Concepto
Dos
Twoniveles
levels de
of hierarchy
jerarquía in
enthe
el informe
report
Atributo
Concepto
Sub Atributo
Concepto
Formato
Contacto
CONTACTO
Organización de
contacto
CONTACTO_ORG
Texto
Unidad de
organización de
contacto
CONTACTO_ORG_UNIDA Texto
D
Dirección de correo
de contacto
CONTACTO_CORREO_DI Texto
RECCIÓN
El uso del concepto, su lugar en la jerarquía, representación, y asociación se
definen en la parte relativa al “Atributo de Metadatos” del MSD (denominado
Atributo en la tabla).
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
21
Estructura del informe de metadatos –
Metadatos de contenido
Atributo
Concepto
Sub Atributo
Concepto
Formato
ESTAD_UNID
Texto
Población
estadística
ESTAD_POB
Texto
Área de referencia
REF_AREA
Texto
Presentación ESTAD_PRES Unidad estadística
estadística
Cobertura de tiempo TIEMPO_COB Texto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
22
Estructura del informe de metadatos–
Esquema de Concepto
Los siguientes conceptos se obtienen de las tablas anteriores:
CONTACTO
Los conceptos del esquema de
CONTACTO_ORG
concepto pueden definirse en un
jerarquía donde exista un vínculo
CONTACTO_ORG_UNID
semántico entre los conceptos padre
CONTACTO_CORREO_DIRECCIÓN e hijo;
ESTAD_PRES
ESTAD_UNID
El concepto(s) hijo tendrá un
significado semántico más refinado
que el del padre.
ESTAD_POB
REF_AREA
TIEMPO_COB
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
23
Estructura del infome de metadatos –
El tipo de objeto de asociación
 El conjunto de metadatos que se presenta (esto es, el contenido real
de metadatos) tiene el propósito de ser metadatos sobre “algo”.
 Ese “algo” es el tipo de objeto y en una MSD es necesario declarar el
tipo de objeto y definir cómo se identifica en relación a sus
componentes constituyentes.
 Por ejemplo, un Código se identificaría mediante una combinación del
identificador de Lista de Códigos y el identificador de Código.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
24
Estructura del informe de metadatos –
El tipo de objeto de asociación
El tipo de objeto de asociación debe de poder definirse con el uso de tipos
de objetos identificables en el Modelo de Información SDMX – el esquema
XML demanda esto y enumera los siguientes tipos de objetos.
Agencia
DescriptorAtributo
ProveedorDatos
EsquemaConcepto
DescriptorClaveGrupo
EstructuraMetadatos
Concepto
Dimensión
IdentificadorObjetivoParcial
ListaCódigo
Medida
AtributoMetadatos
Código
Atributo
FlujoDatos
FamiliaClave
EsquemaCategoría
AcuerdoProvisión
Componente
TaxonomíaInforme
MapaEsquemaOrganización
DescriptorClave
Categoría
MapaFunciónOrganización
DescriptorMedida
EsquemaOrganización
MapaEsquemaConcepto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
25
Estructura del informe de metadatos –
El tipo de objeto de asociación
FlujoMetadatos
MapaComponente
PasoProceso
RestricciónContenido
MapaListaCódigo
MapaEsquemaCategoría
RestricciónAsociación
MapaCódigo
ListaCódigosJerárquica
ConjuntoDatos
MapaCategoría
ConjuntoMetadatos
ConjuntoDatosXS
MapaConcepto
ConjuntoEstructura
Jerarquía
Proceso
MapaEstructura
IdentificadorObjetivoCompleto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
26
Estructura del informe de metadatos –
El tipo de objeto de asociación
Categoría de Datos
El tipo de objeto es la Categoría de Datos (denominada “Categoría” en el
Modelo de Información SDMX).
Si el propósito de la MSD es definir dónde se van a asociar los metadatos
en el entorno de difusión de Eurostat entonces esto es todo lo que se
requiere.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
27
Estructura del informe de metadatos –
El tipo de objeto de asociación
 Si Eurostat desea publicar esto y ponerlo a disposición de otras
organizaciones (ej: en forma de fichero descargable) entonces sería
necesario también identificar al Proveedor de Datos (que en este caso
es Eurostat).
 Los tipos de objeto Catergoría y Proveedor de Datos podrían
asociarse con un esquema de codificación – sin duda existiría una
lista para todas las categorías de datos (esto sería un “Esquema de
Categoría”), pero para el Proveedor de Datos esto podría declararse
sin enumerar (esto es, texto).
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
28
Estructura del informe de metadatos –
Resumen
Esquema de Concepto
 Es un “Contenedor” de conceptos. En SDMX este es el nivel donde los
conceptos se mantienen.
 Tiene una agencia de mantenimiento, identidad y versionado de
información.
 Los conceptos de un esquema de concepto pueden ser jerárquicos.
 A menudo se usan conceptos en la presentación de jerarquías y estas
jerarquías se construyen en la Estructura de Presentación de la
Definición de Estructura de Metadatos.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
29
Estructura del informe de metadatos –
Resumen
Esquema de la estructura del esquema de concepto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
30
Estructura del informe de metadatos –
Resumen
Estructura de Presentación – Estructura General
definida dentro de la Definición de Estructura de Metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
31
Estructura del informe de metadatos –
Resumen
Estructura de Presentación – Informe de Contacto
CONTACTO
CONTACTO_ORG
ESTAD_MSD
CONTACTO_ORG_UNID
CONTACTO_CORREO_DIRECCIÓN
ESTAD_METADATOS_CS
CATEGORÍA
_CONTACTO
_INFORME
Contacto
Nombre contacto organización
Unidad contacto organización
Dirección correo contacto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
32
Estructura del informe de metadatos –
Resumen
Estructura de Presentación – Informe de Calidad
ESTAD_PRES
ESTAD_MSD
ESTAD_UNID
ESTAD_POB
REF_AREA
CATEGORÍA_
CONTENIDO_
INFORME
ESTAD_METADATOS
_CS
TIEMPO_COB
Presentación Estadística
Unidad estadística
Población estadística
Área de referencia
Cobertura temporal
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
33
Estructura del informe de metadatos –
Resumen
Definición del tipo de objeto de asociación
Esquema
define todos los
posibles tipos de
objetos que están
dentro del alcance
de la MSD
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
hace referencia a
un sub-conjunto
de Componentes
del Identificador
del identificador
de Objetivo
Completo
34
Estructura del informe de metadatos –
Resumen
Definir del tipo de objeto de asociación
Tipos de Objeto de Asociación
Proveedor de
Datos
Categoría de Datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
35
Estructura del informe de metadatos –
Resumen
Definición del Tipo de Objeto de Asociación
Tipos de Objeto de Asociación
hace referencia sólo
al Componente de
Identificador
vínculado al
Proveedor de Datos
ESTAD_MSD
comprende los tipos de objeto
Categoría y ProveedorDatos
CATEGORÍA
Categoría
Proveedor de Datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
AGENCIA
CATEGORÍA
AGENCIA
ESTAD_CATEGORÍA
_ESQUEMA
36
Estructura del informe de metadatos –
Resumen
Definición del Tipo de Objeto de Asociación
Hay que tener en cuenta que estos metadatos están asociados en un
nivel bastante alto – el nivel de la categoría de dominio del tema – del
proveedor de datos.
Si hay metadatos en un nivel más bajo de granuralidad, por ejemplo en
el nivel de la “tabla”, entonces esto también puede especificarse en
una MSD.
Para asociar metadatos a cada una de las tablas, éstas pueden definirse
como un “Flujo de datos” y los metadatos se asocian a la provisión de los
datos mediante un proveedor de datos para este flujo de datos.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
37
Estructura del informe de metadatos –
Resumen
Vínculo entre las Estructuras de Presentación y los Identificadores de
Objetivo relevantes
ESTAD_MSD
CATEGORÍA
CATEGORÍA_CONTENIDO_INFORME
ESTAD_CATEGORÍA_ESQUEMA
AGENCIA
vincula las Estructuras de
Presentación a los Identificadores
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
de Objetivo relevantes
38
Estructura del informe de metadatos –
Resumen
Vínculo entre las Estructuras de Informe y los Identificadores de Objetivo
relevantes
El XML que crea este vínculo es el atributo
objetivo de la Estructura del Informe
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
39
Conjunto de Metadatos: Estructura
 Hace referencia a:
– Una Definición de Estructura de Metadatos (MSD)
– Una Estructura de Informe
– Un Identificador de Objetivo
 Define:
– Los valores reales de los objetos objetivo
 Comprende:
– Los Atributos Presentados y sus correspondientes Valores
– Estos Atributos pueden ser:
•
•
•
•
codificado
Texto
fecha/tiempo
número etc.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
40
Conjunto de Metadatos –
Esquema General
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
41
Conjunto de Metadatos –
Esquema General
El Conjunto de Metadatos de Contacto
Los metadatos se
presentan en un
Conjunto de Metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Pueden existir
muchos conjuntos
en un Mensaje
SDMX.
Cada informe de
metadatos se presenta
en un Conjunto de
Metadatos individual
42
Conjunto de Metadatos –
Esquema General
ESTAD_MSD
CATEGORÍA_CONTACTO_INFORME
Categoría =
Clave_Indicadores.Estructurales_Indicadores
Proveedor de Datos=EUROSTAT
CONTACTO
CONTACTO_ORG
Cuentas Nacionales Unidad
C2: producción
CONTACTO_ORG_UNID
Eurostat, Oficina Estadística
de las Comunidades Europeas
CONTACTO_CORREO_
DIRECCIÓN
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
http://epp.eurostat.ec.europa.e
u/portal/page/portal/help/user_
support
43
Conjunto de Metadatos –
Fichero de Metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
44
Conjunto de Metadatos – Ejemplo ESMS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
45
Conjunto de Metadatos – Ejemplo ESMS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
46
Presentación de Metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
47
Presentación de Metadatos en SDMX-ML
 El mecanismo de Metadatos de Referencia soporta actividades de
presentación y difusión a través de tipos de mensajes especificados
 Mensaje de Estructura
– Proporciona la Definición de Estructura de Metadatos
 Mensaje de Metadatos Genérico
– Proporciona un formato simple para cualquier definición de
estructura de metadatos
– Todos los metadatos de referencia expresables en formato SDMXML pueden marcarse de acuerdo a este formato y los contenidos de
la Estructura
– Realiza sólo un mínimo de validación
– Soporta la creación de herramientas de software genérico y servicios
para el procesamiento de metadatos de referencia
 Mensaje de Presentación de Metadatos
– Para cada MSD, se crea un esquema XML (específico para esa
MSD)
– Realiza una validación sobre conjuntos de datos presentados
– Menos detallado que el mensaje de metadatos Genérico
– Más fácil de usar al relacionarse directamente la marca XML con los
conceptos relacionados
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
48
Definición de flujo de metadatos
 Muy similar a una definición de flujo de datos; describe,
categoriza, y restringe conjuntos de metadatos
 Los conjuntos de metadatos se presentan o difunden según la
definición de flujo de metadatos.
 Identifica una Definición de Estructura de Metadatos
 Puede asociarse a uno o más dominio de temas (esto facilita la
búsqueda de datos según un esquema organizado de categoría
organizado)
 Las restricciones pueden asociarse a la definición de flujo de
metadatos, en el sentido de informar sobre peridiocidad o un
conjunto de posibles claves que se permiten en un conjunto de
metadatos.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
49
C.5 – Herramientas de Metadatos de Referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
50
C.6 – Infraestructuras SDMX de Referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
51
Qué es la Infraestructura SDMX de
Referencia






Conjunto de bloques de construcción que permiten a una
oficina estadística exponer datos al mundo externo basados
en derechos de acceso
Desarrollado en Java y .NET junto a una API bien definida
Proporciona datos y metadatos estructurales basados en
mapeos a un almacén de datos de una organización
Conforme a las guías del Servicio Web SDMX
Paquete de código fuente abierto bajo licencia EUPL
Soporte del Census Hub y proyectos de Eurostat similares.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
52
SDMX-RI – Visión General
Organización
proveedora de
datos
SDMX-RI – Interfaces de
Usuario
Cliente Web
Vínculo
Interno
Datos Locales
que no son
SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Asistente
de Mapeo
SDMX-RI – “bajo la cubierta”
Organización
recopiladora de
datos
Servicio
Web
Datos de formato
SDMX
53
Informe de estado a fecha de junio 2012
 Países que han instalado SDMX-RI: Austria, Bélgica,
Bulgaria, Chipre, Eslovenia, Finlandia, Francia*,
Hungría, Irlanda, Italia, Letonia, España, Lituania,
Luxemburgo, Malta, México, Países Bajos, Noruega,
Polonia, Portugal, y Suecia.
* Bloques de construcción seleccionados
 Han expresado interés o están trabajando en ello:
– Dinamarca, Eslovaquia, Estonia, Grecia, Islandia,
Liechtenstein, Suiza, Reino Unido, Rumanía y
Rusia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
54
Módulos
Interfaces
de Usuario
Proveedor de Servicio Web
Cliente Web
Parseador de
Consulta SDMX
Recuperador
de Datos
Recuperador
de Estructuras
Generador de
Datos SDMX
Asistente
de Mapeo
sdmx_modelo
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
55
SDMX-RI – Visión General
Proveedor de servicio web
Parseador de
consultas
Recuperador
de datos
base de datos de difusión
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Recuperador Generador de datos
de estructuras
Modelo de datos SDMX
56
SDMX-RI – Visión General
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
57
Visión general del esquema
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
58
SDMX-RI – Flujo de Trabajo
Cliente de
Servicio Web
Proveedor de
Servicio Web
Parseador de
Consulta SDMX
Recuperad
or de
Datos
Generador
de Datos
SDMX
CONSULTA SDMX-ML
CONJUNTO DE
DATOS SDMX-ML
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
59
C.7 – Charla Abierta
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
60