Transcript Trabajando con SDMX

Seminario para contribuir a la modernización de la transmisión
de datos y metadatos estadísticos en la región de América Latina
y el Caribe
B – Trabajar con SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
B.1 – Un estándar internacional
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
2
Statistical Data and Metadata eXchange
SDMX
ISO TS 17369
UNSD
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
World Bank
3
B.2 – Modelo de Información SDMX (SDMX-IM)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
4
Modelo de Información SDMX (SDMX-IM)
El Modelo de Información SDMX es un meta-modelo que
describe objetos involucrados en:
 La recopilación
 La difusión
 La publicación
de estadísticas agregadas y metadatos relacionados
 El modelo abstracto es como un conjunto estructurado
de contenedores
 Todo en SDMX se encuentra guiado por un modelo:
 Todos los mensajes e interfaces son implementaciones
del modelo de información
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
5
SDMX IM – Esquema de Alto Nivel de Grandes Artefactos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
6
Modelo de Información SDMX – ALCANCE simplificado
Definición de
Estructura
Esquema de
Categoría
Conjunto de
datos y
metadatos
FLUJOS DE
DATOS Y
METADATOS
Categoría
Proveedor de
datos
Acuerdo de
provisión
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Restricción
7
Modelo SDMX: Estructuras y Conjuntos de Datos
Definición de
Estructura de
Datos
Esquema de
Categoría
Categoría
Categorización
Flujo de
Datos
Proveedor de
Acuerdo
Restricción
de Contenido Claves reales
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Conjunto de
datos registrados
Esquema de
Proveedor de Datos
Proveedor
de Datos
R
e
g
i
s
t
r
a
fichero
Base de datos
8
Modelo SDMX: Estructuras y Conjuntos de Metadatos
Definición de
Estructura de
Metadatos
Esquema de
Categoría
Categoría
Categorización
Flujo de
Metadatos
Acuerdo de
Provisión
Restricción
de Contenido Claves reales
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Conjunto de
metadatos
registrados
Esquema de
Proveedor de Datos
Proveedor
de Datos
R
e
g
i
s
t
r
a
fichero
Base de datos
9
Modelo SDMX: Proceso
Proceso
Transición
Paso del
Proceso
Computación
Contexto textual
objetivo
salidas
entradas
Condición
Contenido
textual
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Artefacto de
Proceso
Cualquier objeto que
puede identificarse en
SDMX
Este es un mecanismo muy potente
para el soporte de documentación
estructurada y desestructurada asociada
con p.e. procesos de GSBPM
10
Modelo SDMX Model: Conjunto de Estructuras
Mapa de Esquema
de Ítemas
Mapa de Estructura
Estructura de Datos
Lista de Códigos
Estructura de Metadatos
Esquema de Categoría
Estructura de Objetivo
Esquema de Concepto
Estructura de Fuente
Esquema de Organización
Esquema de Objetivo
Esquema de Fuente
Los esquemas mapeados
deben de ser del mismo tipo
(ej: lista de códigos-lista de
códigos)
Código
Código
Categoría
Categoría
Concepto
Concepto
Organización
Organización
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Las estructuras mapeadas
deben de ser del mismo
tipo (ej: DSD-DSD)
Dimensión
Atributo
Medida
Componente de
Metadatos
Dimensión
Atributo
Medida
Componente de
Metadatos
Este es un mecanismo muy potente que puede usarse
para mapear estructuras internas con una
dimensionalidad diferente que la de la DSD, así como
códigos internos para códigos usados en Estructuras
de Datos y Metadatos.
11
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
12
B.3 – MENSAJE SDMX-ML
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
13
Sintaxis de Mensajes SDMX
 Basada en un Modelo de Información común
– SDMX-EDI (GESMES/TS)
• Sintaxis EDIFACT
• Orientado a serie temporal – Un formato para Conjunto
de Datos
– SDMX-ML
• Sintaxis XML
• Cuatro formatos diferentes para Conjuntos de Datos
• Una validación más fácil (basada en XML)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
14
Encabezados comunes de datos SDMX
Element
id
test
truncated
name
prepared
senderid
sendername
sendercontactname
sendercontactdepartment
sendercontactrole
sendercontacttelephone
sendercontactfax
sendercontactx400
sendercontacturi
sendercontactemail
receiverid
receivername
receivercontactname
receivercontactdepartment
receivercontactrole
receivercontacttelephone
receivercontactfax
receivercontactx400
receivercontacturi
receivercontactemail
datasetagency
datasetid
datasetaction
extracted
reportingbegin
reportingend
source
lang
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Example
TEST0000
true
false
FISH_AQ_TEST
2010-30-01T09:30:47+01:00
ESTAT
Eurostat
G. Smith
Statistics
Response
0210 2222222
0210 00010999
www.sdmx.org
[email protected]
NSI_GB
CSO
P. Mustermann
Statistics
Statistician
02101234567
02103810999
www.sdmx.org
[email protected]
ESTAT
FISH_AQX
Append
2010-30-01T09:30:47+01:00
2008-01-01T00:00:00
2008-12-31T00:00:00
DH
en
15
Cambios de encabezado en SDMX 2.1
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
16
Mensajes de datos SDMX
Representaciones equivalentes para la presentación de conjuntos de datos
Versión 2.0
4 mensajes de datos,
cada uno con un formato
bien diferenciado.
DatosGenéricos
Versión 2.1
Por tanto, ahora hay 4
mensajes de datos basados en
dos formatos generales:
• DatosGenéricos
DatosSerieTemporalGenéricos
Datos Transversales
Datos Compactos
Datos de Utilidad
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
• DatosEstructuraEspecífica
DatosSerieTemporalEstructuraEspecífica
Obsoletos
17
Ejemplo de Mensaje SDMX-ML Genérico
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
18
Ejemplo de Mensaje SDMX-ML Compacto
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
19
Ejemplo de Mensaje SDMX-ML Transversal
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
20
Conversiones SDMX v2.0
Formatos equivalentes
SDMX-ML Compacto
Basada
en el
mismo
IM
Excepciones:
Si una DSD Transversal
NO contiene una
dimensión de tiempo
SDMX-ML Genérico
SDMX-ML Transversal
Puede expandirse a otros formatos
(ej: CSV, GESMES)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
21
Cambios en Mensajes de Datos
2.0
2.1
Genérico
Transversal No se soporta
Genérico
De serie
temporal
De estructura específica
Transversal
DatosEstructuraEspecífica
Genérico
Compacto y de Utilidad
DatosSerieTemporalGe DatosSerieTemporalEstruct
nérica
uraEspecífica
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
22
B.4 – DEFINICIÓN DE ESTRUCTURA DE DATOS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
23
Descripción de intercambio de datos
¿Quién?
¿Cuándo?
¿Cómo?
¿Qué?
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
¿Quién?
¿Dónde?
¿Qué?
24
Modelo de tabla estadística
Number of touristic establishments
annual data
data
in Italy, annual
Time
Indicator
A100
B010
B010
B020
B020
Hotels and
and similar
similar
Hotels
Tourist Campsites
Campsites
Tourist
Holiday dwellings
dwellings
Holiday
2002A00
33411
2374
2374
61479
61479
2003A00
33480
2530
2530
58526
58526
2004A00
33518
2529
2529
2529
56586
56586
2005A00
33527
2411
68385
68385
2006A00
33768
2510
2510
68376
68376
2007A00
34058
2587
2587
61810
61810
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
25
Diseñar una DSD:
¿Qué tenemos que hacer en primer lugar?
 Identicar los Conceptos:
– Un concepto es una unidad de conocimiento creada por
una única combinación de características (Modelo de
Información SDMX)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
26
Identificar Conceptos
 Identificar Conceptos – Fuentes
– Tablas de conjuntos de datos existentes
• De una página web
• De aplicaciones
– Instrumentos de Recopilación de Datos
• Cuestionarios
• Hojas de cálculo Excel
– Regulaciones, Manuales, Guías de Usuario
• Convención de Estadísticas Laborales, 1985 (Nº 160),
Recomendación, 1985 (Nº 170)
• Consejo de Regulación Nº: 311/76/EEC de 09/021976; OJ:
L039 de 14/02/1976; Recopilación de estadísticas sobre
trabajadores extranjeros
– Tablas de base de datos
– Definiciones de Estructura de Datos existentes
• De otras organizaciones
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
27
Obtener los conceptos de la tabla estadística
FRECUENCIA
PAÍS
TURISMO_INDI
CADOR
TURISMO_A
CTIVIDAD
UNIDAD
OBS_VALOR
TIEMPO
E
P
Concept Identifier
FREQUENCY
COUNTRY
TOURISM_INDICATOR
TOURISM_ACTIVITY
TIME
OBS_VALUE
UNIT
OBS_STATUS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Concept name
Frequency
Country
Tourism Indicator
Tourism Activity
Time Period
Observation
Unit
Observation status
OBS_ESTADO
Format
A1
A2
AN4
AN4
N4
N15
AN2
A1
28
SDMX-IM - Esquema de Concepto
Concept Scheme:
ID
Version
Name
Description
CS_TOURISM
1.0
(English)
(French)
(English)
(French)
Concept Identifier
FREQUENCY
COUNTRY
TOURISM_INDICATOR
TOURISM_ACTIVITY
TIME
OBS_VALUE
UNIT
OBS_STATUS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
List of statistical concept for Tourism tables
Liste des concepts statistiques pour les tables Tourisme
Concept list to be used for all Tourism tables
Liste des concepts valable pout toutes les tables Tourisme
Concept name
Frequency
Country
Tourism Indicator
Tourism Activity
Time Period
Observation
Unit
Observation status
Format
A1
A2
AN4
AN4
N4
N15
AN2
A1
Code list
CL_FREQ
CL_AREA
CL_TOUR_INDICATOR
CL_TOUR_ACTIVITY
CL_UNIT
CL_OBS_STATUS
29
Identificar/definir listas de códigos
 Propósito de una Lista de códigos
– Restringe el dominio del valor de conceptos cuando se
usan en una estructura como una definición de estructura
de datos
– Define una representación independiente de lenguaje
recortado de los valores
– Aporta significado semántico a los valores, con la
posibilidad de múltiples lenguas.
 El acordar listas de códigos armonizados es
probablemente el aspecto más difícil al definir una
definición de estructura de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
30
SDMX-IM - Lista de códigos
Cada código está definido por
una ID y una descripción que
se puede proporcionar en
varios idiomas.
La lista de códigos es
un contenedor SDMX
mantenible.
Code lists:
ID: CL_AREA
ID: CL_TOURISM_ACTIVITY
Code
value
Description
Code
value
BE
Belgium
A100
Hotels and similar
DE
Germany
B010
Tourist Campsites
FR
France
B020
Holiday dwellings
IT
Italy
AT
Austria
ES
SPAIN
PT
Portugal
Description
También se pueden
intercambiar listas parciales
de códigos (v2.1).
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
El contenido de la lista parcial
de códigos se especifica en
una Restricción.
31
SDMX-IM - Esquema de Concepto
Ejercicio: Obtener un esquema de concepto de una tabla
Concept Identifier
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Concept name
Format
Code list
32
SDMX-IM - Esquema de Concepto
Corrección: Obtener un esquema de concepto de una tabla
Concept Identifier
Concept name
FREQUENCY
UNIT
GEO
NACE_R2
WASTE
HAZARD
OBS_VALUE
TIME
Frequency
Unit
Country
Economic Activity
Type of Waste
Hazardous Waste
Observation
Time Period
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Format
A1
AN2
A2
AN11
AN15
AN5
N15
N4
Code list
CL_FREQ
CL_UNIT
CL_GEO
CL_NACE_R2
CL_WASTE
CL_HAZARDOUS
33
Estructura de Conjunto de Datos
 Los ordenadores han de conocer la estructura de los
datos en relación a:
–
–
–
–
–
Dimensionalidad
Metadatos adicionales
Medidas (Observación)
Conceptos
Contenido válido
• Listas de códigos
• Formato sin codificar (número entero, fecha, texto)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
34
Obtener una Estructura de Datos de una tabla
FRECUENCIA
PAÍS
TURISMO_INDI
CADOR
TURISMO_A
CTIVIDAD
UNIDAD
OBS_VALOR
TIEMPO
E
OBS_ESTADO
P
DIMENSIONES
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
ATRIBUTOS
MEDIDAS
35
Obtener una Estructura de Datos de una tabla
Data Structure Definition:
ID
Version
Name
TOURISM_A
1.0
(English)
(French)
Description (English)
(French)
Strucutre of the Tourism table
Strucutre de la table Tourisme
Data Structure Definition for Tourism activity
Définition de la structure de données pour l'activité Touristique
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
36
DATOS Y METADATOS ESTADÍSTICOS
Metadatos Estadísticos (Identificadores, Descriptores)
Metadatos
estructurales
Listas de códigos, Esquemas de
Concepto, DSD
Datos Estadísticos (Cifras)
Representación de datos de serie temporal
Representación de datos transversales
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
37
DATOS Y METADATOS ESTADÍSTICOS
Dos formas diferentes de representar datos
Datos estadísticos Cubo
Serie temporal
Actividad turismo
Corte transversal
1250
1216
1220
B020
Transversal para 2006
B010
A100
País
AT
ES
FR
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Tiempo
Number of tourist campsites national - 2006
2007
2006
2005
geo/activity
AT
ES
FR
IT
B010
542
1216
8138
2510
IT
38
DATOS ESTADÍSTICOS – Serie Temporal
Number of touristic establishments – Time series
Number of touristic establishments – Time series
Number of touristic establishments – Time series
FREQ: ANúmero
– Annual de establecimientos turísticos – Serie Temporal
FREQ:FRA––France
Annual
GEO:
FREQ:
Annual
GEO:
ATA– –Austria
TOUR_INDICATOR:
A001 – Establishments
FREC:
A
–
Anual
GEO:
ES
–
Spain
TOUR_INDICATOR:
UNIT:
NBR - Number A001 – Establishments
GEO:
Italia A001 – Establishments
TOUR_INDICATOR:
UNIT:
NBRIT- –
Number
TUR_INDICADOR:
UNIT:
NBR - NumberA001 – Establecimientos
A100
B010
Activity
UNIDAD:
NMRNúmero
A100
B010
Activity
Hotels and
Tourist
A100
B010
Activity
Hotels
and
Tourist
Time
similar
Campsites
B010
Hotels
and
Tourist
Time Actividad
similar
Campsites
A100
Campings
Time
similar
Campsites
2002A00
33518
2529
Hoteles
y similar
Tiempo
turistas
2002A00
33518
2529
2002A00
2003A00
2002A00
2003A00
2003A00
2004A00
2003A00
2004A00
2004A00
2005A00
2004A00
2005A00
2005A00
2005A00
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
44568
33527
33518
33527
78564
33768
33527
33768
45259
34058
33768
34058
36475
34058
24114752
24112529
25104125
25102411
25874455
25872510
3586
2587
B020
B020
Holiday
B020
Holiday
dwellings
B020
Holiday
dwellings
Alojamientos
dwellings
56586
vacacionales
56586
75963
68385
56586
68385
88526
68376
68385
68376
77486
61810
68376
61810
45963
61810
39
DATOS ESTADÍSTICOS – Transversal
Number of touristic establishments – Cross-sectional
Number of touristic establishments – Cross-sectional
Number of touristic establishments – Cross-sectional
Número de establecimientos turísticos – Transversal
TIME: 2002A00
TIME: 2003A00 A001 - Establishments
TOUR_INDICATOR:
TIME:
FREC:2004A00
A -Anual A001 - Establishments
TOUR_INDICATOR:
UNIT:
NBR
- Number A001 - Establishments
TOUR_INDICATOR:
TIEMPO:
UNIT:
NBR -2005A00
Number
UNIT:
NBR
Number
TUR_INDICADOR:
A001 - Establecimientos
UNIDAD: NMR –A100
Número
B010
Activity
A100
B010
Activity
Hotels
and
Tourist
A100
B010
Activity
Hotels
and
Tourist
B010
Campsites
CountryActividad similar
Hotels
and
Tourist
A100
similar
Campsites
Country
Campings
similar
Campsites
Hoteles y similar
Country
AT
14204
540
turistas
País
AT
14204
540
AT
ES AT
ES
ES
FR ES
FR
FR
IT FR
IT
IT
IT
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
14204
15263
17827
17827
17827
18595
18135
18135
18135
19786
34058
34058
34058
36844
540
1220 684
1220
1220
8052 1485
8052
8052
2587 9562
2587
2587
5684
B020
B020
Holiday
B020
Holiday
B020
dwellings
Holiday
dwellings
Alojamientos
dwellings
3388
vacacionales
3388
3388
4843 4758
4843
4843
2406 4777
2406
2406
618102855
61810
61810
66852
40
Obtener una estructura de datos de una tabla
Transversal
FRECUENCIA
TIEMPO
TURISMO_A
CTIVIDAD
TURISMO_INDI
CADOR
UNIDAD
AT
OBS_VALOR
ES
PAÍS
FR
E
OBS_ESTADO
IT
DIMENSIONES
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
P
ATRIBUTOS
MEDIDAS
41
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
42
A
A
A
Atributos
OB
S_
S
OB TAT
S_ US
_A
ST
A
OB
TU T
S_
ST S_E
OB AT S
S_ US
_
ST
AT FR
US
_I
T
TO M_
UR IND
IS
M ICAT
TI
-A
M
CT OR
E
IV
IT
AT
Y
Medidas
IT
FR
ES
RI
S
TO
U
FR
EQ
Dimensiones
UN
IT
Observación sobre la representación
Transversal
A001 A100 2005 15263 18595 19786 36844 NBR
A001 B010 2005 684 1485 9562 5684 NBR
A001 B020 2005 4758 4777 2855 66852 NBR
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
E
E
E
P
P
P
P
P
P
E
E
E
43
Observación sobre la representación
Transversal
FR
EQ
TO
UR
IS
TO M_
UR IND
IS
M ICA
M
EA -AC TOR
TI
SU
VI
R
TI
TY
E
M
D
IM
E
EN
OB
SI
S_
ON
VA
UN LUE
IT
OB
S_
ST
AT
US
Dimensiones
Medida Primaria
Atributos
A
A001 A100
A
A002 A100
A
A003 A100
A
A004 A100
A
A005 B010
A
A006 B010
A
A007 B010
A
A008 B010
A
A009 B020
A
A010 B020
A
A011 B020
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
A
A012 B020
AT
ES
FR
IT
AT
ES
FR
IT
AT
ES
FR
IT
2005
2005
2005
2005
2005
2005
2005
2005
2005
2005
2005
2005
15263 NBR
18595 NBR
19786 NBR
36844 NBR
684 NBR
1485 NBR
9562 NBR
5684 NBR
4758 NBR
4777 NBR
2855 NBR
66852 NBR
E
P
P
E
E
P
P
E
E
P
P
E
44
Obtener una Estructura de Datos de un tabla
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
45
Elementos de una Definición de Estructura de Datos
Relación entre
Atributos
Definición de
Estructura de
Datos
Conceptos que
identifican la
observación
Clave de Grupo
Conceptos
que forman un
fenómeno
observado
Dimensión(es)
Conceptos
que añaden
metadatos
Conjunto Datos
Observación
Atributos
Medida(s)
Clave
Toma rasgos
semánticos de
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Clave de Grupo
Dimensiones
Tiene
formato
Toma rasgos
semánticos de
Concepto
Conceptos
que
identifican
una clave
parcial
Toma rasgos
semánticos de
Tiene
formato
Represención
Sin
codificar
Tiene
formato
Esquema de
Concepto
Codificada
Tiene listas
de códigos
Lista de
códigos
46
CONFORMIDAD E IMPLEMENTACIÓN
 Generalmente se han de dar los siguientes cuatro pasos:
1. Preparación: Los estadísticos de las organizaciones
involucradas en el intercambio de datos describen los datos y
los distintos flujos de datos, conjunto de datos y acuerdos de
provisión.
2. Conformidad: se crean todos los objetos necesarios según
las Especificaciones Técnicas SDMX
3. Implementación: Ahora lo ponemos en práctica. Se instala y
configura software estándar para usar las definiciones DSD.
El proceso de intercambio se configura y prueba.
4. Producción: se usan los datos en el proceso de producción.
Se logra una implementación SDMX cuando los intercambios
de datos y metadatos dentro del dominio se desarrollan según
las especificaciones basadas en SDMX.
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
47
CONFORMIDAD: Crear todos los objetos
necesarios
 Definir la DSD
1. Listas de códigos
2. Listas de conceptos (Esquema de concepto)
3. Funciones de los conceptos (Dimensión, Atributo,
Medida)
 Proporcionar los flujos de datos relacionados (ej:
STSRTD_TURN_M, DEMOGRAPHY_RQ)
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
48
Los pasos para construir una definición de Estructura de Datos
1
2
3
Identificación de los conceptos descriptores para los
datos. Elegir el tipo de representación de datos (Serie
temporal y Transversal)
Elección de listas de códigos de Dominio
Transversal o definición de listas de
códigos específicas para conceptos
codificados
4
Dimensiones para
representaciones de datos de
serie temporal y transversal
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Definición del formato de
texto para conceptos sin
codificar
Definición del concepto función
(Dimensión, Atributo o Medida)
5
Definir Atributos con los
niveles de asociación de
representaciones de datos de
serie temporal y transversal
Definir la medida primaria
de serie temporal y/o las
medidas transversales con
sus conceptos de medida
Crear los artefactos definidos en una
herramienta de Definición de Estructura
de Datos SDMX (ej: DSW)
49
B.5 – DEFINICIÓN DE ESTRUCTURA DE
METADATOS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
50
Metadatos de Referencia - PROPÓSITO
En el modelo SDMX, los objetos pueden tener
textos explicativos que expliquen las
características principales de los datos.
unida al objeto por
una “referencia”
simple al objeto
puede almacenarse
e intercambiarse sin
estar embebidos en
el mensaje de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
51
Metadatos de Referencia - INFORME
Contenido
proporcionan una
presentación estructurada
(a veces jerarquizada) de
ítems de metadatos
específicos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
52
Metadatos de Referencia - ESTRUCTURA
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
53
Modelo de Información SDMX - DSD frente a
MSD
MSD
DSD
Objetivo identificador
Lista de dimensiones / grupo
contiene
contiene
Claves
Clave
Dimensiones
Componentes Identificador
Series
Atributos
de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Atributos de
metadatos
Define como un conjunto de metadatos identifican
describen
Lo que se está
midiendo
Objeto Objetivo
Datos
qué objeto se está describiendo
por los metadatos de referencia
Metadatos
54
Metadatos de Referencia - ESTRUCTURA
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
55
Esquema MSD en SDMX 2.1
El Identificador de
Objetivo Completo y
el de Objetivo Parcial
se reemplazan por
un Objetivo de
Metadatos simple
El Componente
Identificador pasa a
llamarse Referencia
de Objetivo
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
56
Ejemplo de Metadatos de Referencia
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
57
Ejemplo de Metadatos de Referencia
la información se aplica
a todos los conjuntos de
datos para la categoría
de población
los metadatos de
referencia contienen
información descriptiva
la definición de estructura
de metadatos define la
estructura del informe
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
58
B.6 – CONJUNTO DE DATOS
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
59
Modelo de Información SDMX - Conjunto de Datos
E
P
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
60
SDMX-IM – Conjunto de Datos
CONJUNTO
DE
DATOS
FREC
PAÍS
TURISMO_INDICADOR
TURISMO_ACTIVIDAD
TIEMPO
UNIDAD
OBS_VALOR
OBS_ESTADO
PAÍS
TURISMO_ACTIVIDAD
CLAVE DE
GROUP
KEY
GRUPO
GROUP
KEY
CLAVE
KEY
KEY
Serie temporal
IT.B020
VALORES
KEYCLAVE
VALUES
KEY VALUES
M.IT.A001.B020
61810
68676
68685
55586
PERIODO DE
TIEMPO
2005A00
2004A00
2003A00
2002A00
Transversal
Asociación del atributo
NBR
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
VALOR DE
OBSERVACIÓN
VALOR DEL
ATRIBUTO
Asociación del atributo
E
E
EE
61
El ejercicio de la muestra de Conjunto de
Datos STS: identificar el concepto y las funciones
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
62
El ejercicio de la muestra de Conjunto de
Datos STS: identificar el concepto y las funciones
TÍTULO
REF_AREA
FREC
BASE_AÑO
TIEMPO
STS_INDICADOR
STS_ACTIVIDAD
STS_AJUSTE
OBS_
VALOR
DECIMALES
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
OBS_ESTADO
63
DSD del flujo de datos STSRTD_IND_M
Nivel de
asociación
frequencia
Área geográfica
ajuste
FREC
REF_AREA
AJUSTE
CL_FREC
CL_AREA_EE
CL_AJUSTE
Ejemplo de
valor
M
GR
TENDENCIA
Tipo de índice
STS_INDICADOR
CL_STS_INDICADOR
TOVV
CL_STS_ACTIVIDAD
CL_STS_BASE_AÑO
NS5201
Concepto
Dimensiones
Medida
Atributos
Obs
Serie
Grupo
Grupo
Concepto ID
STS_ACTIVIDAD
actividad
STS_BASE_AÑO
Año base
Periodo de
TIEMPO
referencia
Índice de
OBS_VALOR
facturación
OBS_ESTADO
estado
Duración temporal TIEMPO_FORMATO
TÍTULO
Tiítulo
decimales
Metadatos
Lista de Códigos
CL_OBS_ESTADO
CL_TIEMPO_FORMATO
CL_DECIMALES
DECIMALES
Lista de variables
Funciones
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
Observación
Mensual
Grecia
Facturación
(volumen de ventas)
Comercio al por
menor
2005
201101
108.6
A
P1M
CCYYMM
observación
Datos reales
ISO8601
1
Uno
Valores
Códigos
64
Estructura del conjunto de datos para series de tiempo
Atributos y nivel de asociación: grupo
Grupo de series
Series
REF_AREA="GR" AJUSTE="N" STS_INDICADOR="TOTV"
STS_ACTIVIDAD="NS5201“ STS_BASE_AÑO="2005" DECIMAL=“2"
TÍTULO=”Facturación y volumen de ventas del comercio al por mayor y al por
menor"
M;GR;N;TOTV;NS5201; 2005;201101;88.81;A
M;GR;N;TOTV;NS5201; 2005;201102;84.74;A
Los atributos se
M;GR;N;TOTV;NS5201; 2005;201103;88.87;A pueden asociar a
grupos
M;GR;N;TOTV;NS5201; 2005;201104;93.01;A
Grupo de series
Series
REF_AREA="GR” AJUSTE="N" STS_INDICADOR="TOTV"
STS_ACTIVITY="N15220“ STS_BASE_AÑO="2005" DECIMAL="1"
TITLE=”Venta al por menor de comida"
M;GR;N;TOTV;N15220;2005;201101;60.8;A
M;GR;N;TOTV;N15220;2005;201102;78.2;A
M;GR;N;TOTV;N15220;2005;201103;89.9;A
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
65
Estructura del conjunto de datos para series de tiempo
Atributos y nivel de asociación: series
FREC="M" REF_AREA="GR" AJUSTE="N" STS_INDICADOR="TOTV"
Definición STS_ACTIVIDAD="NS0006“ STS_BASE_AÑO="2005"
de Serie 1 TIEMPO_FORMATO="P1M"
Los atributos
Attributes
can be
pueden
asociarse
attached
to series
a series
M;GR;N;TOTV;NS0006;2005;201101;88.8;A
Serie 1
M;GR;N;TOTV;NS0006;2005;201102;84.7;A
M;GR;N;TOTV;NS0006;2005;201103;88.8;A
Definición
de Serie 2
Serie 2
FREC="M" REF_AREA="GR" AJUSTE="N" STS_INDICADOR="TOTV"
STS_ACTIVIDAD="N14500“ STS_BASE_AÑO="2005"
TIEMPO_FORMATO="P1M"
M;GR;N;TOTV;N14500;2005;201101;60.8;A
M;GR;N;TOTV;N14500;2005;201102;78.2;A
M;GR;N;TOTV;N14500;2005;201103;89.9;A
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
66
Estructura del conjunto de datos para series de tiempo
Atributos y nivel de asociación: observación
Definición
de Serie 1
Los atributos
FREC="M" REF_AREA="GR" AJUSTE="N" STS_INDICADOR="TOTV"
STS_ACTIVIDAD="NS0006“ STS_BASE_AÑO="2005" pueden asociarse
a observaciones
TIEMPO_FORMATO="P1M"
Definición de
Observación 1
TIEMPO_PERIODO="201101" OBS_VALOR="88.81"
OBS_ESTADO="A“
Definición de
Observación 2
TIEMPO_PERIODO="201102" OBS_VALOR="84.75"
OBS_ESTADO=“E”
Definición de
Observción 2
TIEMPO_PERIODO="201103" OBS_VALOR="89.87"
OBS_ESTADO="A”
Observación 1
CSV
Observación 2
Observación 3
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
M;GR;N;TOTV;NS0006;2005;201101;88.81;A
M;GR;N;TOTV;NS0006;2005;201102;84.75;E
M;GR;N;TOTV;NS0006;2005;201103;89.87;A
67
EJEMPLO 2: Caso Transversal de Muestra de
Conjunto de Datos de Demografía
FREC
TÍTULO
ESTADO_CIVIL
SEXO
EDAD
REF_AREA
Dimensión
asociada al
nivel de
conjunto
de datos
TOTAL
HOMBRE
MUJER
TIEMPO
Dimensión
asociada al nivel
de grupo
3 Medidas
OBS_VALOR
UNIDAD
Dimensión asociada
al nivel de
observación
OBS_ESTADO
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
68
DSD de Flujo de datos: DEMOGRAFÍA_RQ
Attachment
level
Roles
Frequency
dataset
Dimensions
dataset
Dimension
Measure
Dimension
observation Dimension
dataset
Dimension
Time
group
Dimension
Measures
dataset
observation
dataset
Attributes
Concept Name
Concept ID
Frequency
FREQ
Reporting country REF_AREA
Code List ID
CL_FREQ
CL_GEO
Values
A
HU
Sex
Marital status
Age
SEX
CL_SEX
M,F,T
MARITAL_STATUS CL_MARITAL_STATUS SIN
AGE
CL_AGE
TOTAL
Reference period
Observation
Total sex
Male
Female
TIME
OBS_VALUE
TOTAL
MALE
FEMAL
Title
Status
Unit of value
TITLE
OBS_STATUS
UNIT
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
2010
CL_OBS_STATUS
CL_UNIT
number of persons
number of persons
number of persons
Population on 1 January
by age, sex and legal
marital status
E
PERS
69
Estructura del conjunto de datos para Medida Transversal
Atributos y nivel de asociación
Dimensiones asociadas al
conjunto de datos
Atributos asociados al conjunto de
datos
Conjunto de datos
REF_AREA=“HU“ FREC="A” UNIDAD="PERS“
TÍTULO=" Población a fecha de 1 de enero por edad, sexo, y estado civil”
Grupo
TIEMPO="2010"
Medida
transvers
al
Observación
Dimensión asociada al grupo
Medida
Primaria
Dimensiones
asociada a la
observación
Atributo asociado
a la observación
MUJER OBS_VALOR=“36” ESTADO_CIVIL=“REP” OBS_ESTADO="P"
HOMBRE OBS_VALOR=“94” ESTADO_CIVIL =“REP” OBS_ESTADO="P"
TOTAL OBS_VALOR=“130” ESTADO_CIVIL =“REP" OBS_ESTADO="P"
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
70
B.7 –Flujo de trabajo entre Estructuras y
conjuntos de datos
B.7.a Funciones y proceso Introducción al
Registro SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
71
Descripción del intercambio de datos
¿Quién?
¿Cuándo?
¿Cómo?
¿Qué?
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
¿Quién?
¿Dónde?
¿Qué?
72
Arquitecturas TI para el intercambio de datos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
73
Registro SDMX
 Propósito
– Repositorio: es un recurso compartido que se usa para
almacenar, mantener y recuperar metadatos estructurales
– Registro: es un recurso compartido que se usa para
registrar la existencia de datos y metadatos de referencia
para que se puedan descubrir ambos
 Mecanismo
– Interfaz de registro para entregas y consultas
– Interfaz REST sólo para consultas
 ¿Necesita un Registro?
– No, pero si usted recopila o difunde datos entonces es
extremadamente útil para el mantenimiento y el acceso a
los metadatos estructurales
– Es probable que tenga que lanzar un Registro o acceder a
registros de otras Organizaciones
– Si no tiene un registro, puede abrir su base de datos a
consultas de metadatos estructurales
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
74
Definición de
Estructura de
Datos o
Metadatos
Desarrollo
hasta ahora
Esquema de
categoría
Categoría
Categorización
Flujo de
Datos o
Metadatos
Esquema
Proveedor de Datos
Restricción al
Contenido
Acuerdo de
Provisión
Fuente de datos
Fuente de
referencia registrado o
Datos o
Fuente de
Eurostat Unit A6 – Metadatos
Statistical cooperation
SDMX Seminar
metadatos
Proveedor
Datos
R
e
g
i
s
t
r
a
75
Arquitectura de Registro: Conceptual
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
76
Artefactos SDMX: Contenidos de Regisro
Definición de Estructura
Metadatos
Estructurales
Flujo de datos
categorización
Datos y Metadatos
Registrados
Usa un
estructura de
datos/metadat
os específica
(Dominio Tema)
Categoría
puede obtener
datos/metadatos de
múltiples proveedores
de datos/metadatos
Proveedor de
Datos
puede proporcionar
datos/metadatos para
Acuerdo de
muchos flujos de
datos/metadatos al
Provisión
usar una estructura de
datos/metadatos
registra la existencia de
acordada
conjuntos de datos y
metadatos
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
URL, fecha
de registro
etc.
Registro
Conjunto de
Datos
77
Registro SDMX
REGISTRY
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
78
Demostración del Registro SDMX
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
79
B.7b –Validación de conjuntos de datos que
usan definiciones DSD
Eurostat Unit A6 – Statistical cooperation
SDMX Seminar
80