Transcript Experiencia SDMX INEGI

SDMX en el INEGI
Octubre 2012
EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL
 En el INEGI, el proyecto actual tomó fuerza en marzo de
2010, a partir de una instrucción del más alto nivel de la
institución.
 Para la atención del proyecto se integró un grupo
coordinador de carácter interdisciplinario integrado por
personas con diferentes perfiles:
 Tecnologías de la información
 Estadístico
 Relaciones internacionales.
 Capacitación y autocapacitación de los participantes y
desarrollo de habilidades técnicas y conceptuales, a partir
de los recursos de aprendizaje del sitio Web SDMX .
EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL
 Evaluación e implementación local de infraestructura
Tecnológica
 Elaboración de un inventario de la información
estadística entregada por las diversas áreas generadoras
del INEGI a organismos internacionales.
 Desarrollo de una prueba piloto con dos flujos de
información que el INEGI entrega periódicamente a la
OCDE:
 Indicadores económicos de coyuntura
 PIB trimestral.
EXPERIENCIA DEL INEGI. SDMX - COMPONENTE ESTADÍSTICO
Propósito de los estadísticos en el proceso SDMX
Asegurar que la estructura del DSD ofrezca una descripción
precisa y completa de cada una de las características
conceptuales y metodológicas necesarias para comprender, sin
ambigüedades, la estadística que se intercambia, sea ésta
básica o indicadores derivados.
¿Cómo lo hemos realizado?
• Identificación de las categorías e indicadores estadísticos que
conforman el flujo de información.
• Identificación de las variables de clasificación que aplican para
cada categoría e indicador estadístico.
• Identificación y/o definición de los codelists adecuados para
cada variable de clasificación y para cada categoría o
indicador estadístico.
EXPERIENCIA DEL INEGI. SDMX-COMPONENTE ESTADÍSTICO
Elementos mínimos para caracterizar un flujo de información
• Nombre preciso de las categorías o indicadores estadísticos
que conforman el flujo.
• Cobertura geográfica a que se refiere la estadística.
• Cobertura temporal de la estadística.
• Unidad de medida de cada categoría o indicador estadístico.
Flujos de información estadística trabajados por el INEGI
• Producto interno bruto trimestral (OCDE)
• Indicadores de corto plazo (OCDE)
• Comercio exterior de mercancías de México (OCDE)
• Indicadores de Desarrollo del Milenio (ONU)
• Indicadores económicos de corto plazo (Prueba piloto OCDE)
• Indicadores de empleo de corto plazo (Prueba piloto OCDE)
• Sistema de Cuentas Nacionales de México. Anual (OCDE)
MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI
Plantilla elaborada por Eurostat (61 rubros). Incluye los siguientes
bloques de información:
 Información sobre los contactos
 Metadatos conceptuales
 Metadatos metodológicos
 Metadatos sobre la calidad de las estadísticas
Formato DDI. Caracterización de bases de microdatos (82
elementos)
 Características metodológicas
 Características de las bases de microdatos (conceptuales y
técnicas)
 Materiales de referencia externos
 Algunos aspectos administrativos
MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI
RESULTADOS
 De los 61 elementos del MSD de Eurostat
24 rubros se pueden llenar con ayuda del DDI
(39.3%)
11 rubros corresponden a datos operativos del
proyecto de fácil obtención (18.0%)
9 rubros se refieren a aspectos metodológicos del
proyecto de fácil obtención (14.8%)
6 son datos administrativas del proyecto de fácil
obtención (9.8%)
1 se refiere al marco jurídico del INEGI (1.6%)
10 corresponden a rubros no considerados
anteriormente de difícil obtención (16.4%)
SDMX PUBLICACIÓN/DISEMINACION:
“Qué se tiene”
Bases de Datos
DSW v1.2.7
de
Diseminación
Produce
DSD
Mapping
Assistant v2.9
Consulta
Mapeo
usa
SDMX-RI
v2.2.0
REST (SDMX
2.1 draft)
Produce
Formato
JSON
Formato
CSV
PRUEBAS
SDMX-RI
Streaming
v2.4.4
REST (SDMX
2.1 final)
Produce
Conjunto
de Datos
SDMX
Formato
XML
usa
Conjunto
de Datos
SDMX
Formato
DSPL
Formato
XML
Formato
JSON
Ejemplo de Consultas REST al WebService
1. Consulta todos los Flujos de Datos (Dataflow)
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Dataflow/ALL/ALL/
ALL
2. Consulta de un DSD específico
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/
ALL/KF_INFRA_ANNUAL_LABOUR/ALL?references=shallow
3. Consulta de un DSD sin catálogos (Keyfamily)
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/
ALL/KF_INFRA_ANNUAL_LABOUR/ALL
4. Traer un catálogo (Codelist)
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/C
L_SUBJECT_INFRA/ALL
5. Consulta de Datos
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INF
RA_ANNUAL_LABOUR/OECD?key=ALL&format=generic
Ejemplo de Consultas REST al WebService
6. Consulta de Datos Condicionada
({FREQ}.{REFENCE_AREA}.{SUBJECT}.{AGE}.{SEX}.{ADJUSTMENT}.{UNIT})
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA
_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact
6.1 Formato JSON
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNU
AL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=json
6.1 Formato CSV
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNU
AL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=csv
6.1 Formato DSPL
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNU
AL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=dspl
7. Esquema de Conceptos (ConceptScheme)
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/ConceptSc
heme/ALL/ALL/ALL
8. Esquema de Categorías (CategoryScheme)
http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/CategorySc
heme/ALL/ALL/ALL
SDMX PUBLICACIÓN/DISEMINACION:
“Qué se tiene”
CONCEPTO
STATUS
Página SDMX en
Sitio INEGI
•Aplicación para presentar los Flujos de Datos de
INEGI en Internet
•Asistente para la construcción de URLs de
consulta de flujos de datos
•Impulsar el desarrollo de “Herramientas de
Visualización”, de manera didáctica muestra cómo
pueden ser leídos e interpretados los flujos de
datos SDMX (con ejemplos de generación de
gráficas).
REST y formatos CSV, JSONP, CHART, DSPL y con
la ayuda de ISTAT se logró que los flujos SDMX
sean visualizados en el Statistics eXplorer
DSPL
SDMX-ML
(XML)
SDMX-RI
Flujo de Datos SDMX del WS de INEGI
en Google Public Data
http://www.google.com/publicdata/explore?ds=n299qqtd2dfc3_&ctype=l&strail=false&bcs=d&nselm=h&met_y=OBS_VALUE
&fdim_y=ADJUSTMENT:N&fdim_y=FREQ:M&fdim_y=PRICE:Z&fdim_y=REF_AREA:MX&scale_y=lin&ind_y=false&rdim=INDIC
ADOR_ST&idim=INDICADOR_ST:C1161:C1162&ifdim=INDICADOR_ST&tstart=980056800000&tend=1327125600000&hl=en
SDMX PUBLICACIÓN/DISEMINACION:
“Qué se está haciendo”
LA PLATAFORMA PARA PUBLICACIÓN ESTÁ CONCLUIDA. Sin embargo se
está mejorando para optimizar el enfoque de DISEMINACIÓN de SDMX.
CONCEPTO
STATUS
Adopción de
nueva Versión de
“RI” con
Streaming
•En pruebas junto con el nuevo desarrollo REST (que soporta
varios formatos) y mejora sustancialmente los tiempos de
respuesta
Nuevo desarrollo
REST para
Streaming
•En pruebas xml y json
•En desarrollo resto de formatos
Consulta a BD
xml
•Consulta a través de REST, de datos provenientes de una BDxml (contiene archivos SDMX), con posibilidad de filtrarlos con
los parámetros REST de SDMX 2.1
SDMX PUBLICACIÓN/DISEMINACION:
“Qué hace falta”
FALTAN FLUJOS:
SUGERENCIAS:
BD Institucionales
•Se sugiere que se definan DSD temáticos
para la diseminación de los indicadores de BD
de Diseminación Institucionales.
SDMX DISEMINACIÓN:
“Qué se está haciendo en otros países”
CONCEPTO
Desarrollo de
Herramientas de
Visualización en
otros países
STATUS
•FMI Principal Global Indicators- PGI
•BCE: ECB inflation dashoard
•FAO: “Coming soon” The data.fao.org website
blends together statistics, maps, pictures, and
documents.
INEGI COMO RECOLECTOR
Recolección: Qué se tiene
Concepto
RI con REST
Experiencia
Comentarios
Para ofrecerla a Instituciones que cuenten con una
Base de Datos de Diseminación
En la adopción de SDMX que puede ayudar a
disminuir la curva de aprendizaje en Unidades del
SNIEG
Documentación Se tiene alguna versión de Manuales para apoyar a las
para instalación instituciones que deseen adoptar SDMX, en la
y ejemplo
instalación de la plataforma informática con su
práctico para
interface REST, aún y cuando sabemos que tienen que
automatizar un actualizarse.
flujo
Recolección: Qué se está haciendo
Concepto
Desarrollo
REST en JAVA
Comentarios
•Permitirá ofrecer a las Unidades de Estado del SNIEG el
paquete completo de la Infraestructura de Referencia
SDMX con REST para Java o .NET.
Recolector
SNIEG
•Se tiene una versión beta que toma un archivo SDMX e
integra los datos en una BD.
Recolección: Qué hace falta
Concepto
Comentarios
Identificar un flujo de Seleccionar datos que INEGI recolecte de otra(s)
prueba
institución(es)
Definir el DSD
Definir el DSD para hacer un piloto
(conjuntamente el área responsable de los datos
a recolectar y el grupo SDMX)
Hacer una Prueba
Con una o dos instituciones que publiquen
Piloto
información
Definir ROLES para la Coordinación, definición de conceptos y
prueba piloto
catálogos en el DSD, soporte informático,
invitación a instituciones, etc.
GRACIAS