Transcript Présentation PPT

Système de concentration
d'observations de surface issues de
réseaux de capteurs hétérogènes
Cliquez pour modifier le style du titre
Frédéric
Guillaud
Cliquez pour modifier
le style
des
Météo-France
sous-titres du masque
19 novembre 2014
1
Sommaire






2
L’observation à Météo-France, missions et enjeux
Les réseaux d’observation en surface
Le projet PACOME, objectifs et historique
Architecture applicative
Nouvelles exigences et perspectives
Conclusion
L’observation à Météo-France
Le décret de création de Météo-France du18/06/1993 prévoit
explicitement les activités d ’observation qui nous sont
confiées :
 Météo-France a pour mission de surveiller l’atmosphère, l’océan
superficiel, le manteau neigeux.
 Met en œuvre un système d’observation.
 Est chargé notamment :
– d’assurer la gestion et la maintenance du réseau d’observation
météorologique,
– de coordonner et d’harmoniser avec la sienne l’observation
météorologique effectuée par d’autres organismes publics…
 L’Observation est l’un des 3 métiers de base de Météo-France :
– Observer, Prévoir, Conserver la mémoire du climat.
3
Adapter l’observation aux enjeux
stratégiques de Météo-France
Pour répondre aux enjeux stratégiques (sécurité des personnes et
des biens, institutionnels, Ciel Unique Européen, changement
climatique, …)
 Innover dans l’optimisation, la conception et le développement des
systèmes d’observation.
 Développer en partenariat les capacités « partagées » et les
échanges de données.
 Maintenir, améliorer et gérer au mieux les réseaux d’observation.
 Budget total annuel Observation (2013) : 9700 K€
– Observation en surface : 2700 K€
4
Les types d’Observation
L’observation couvre un large éventail de métiers et d’activités, en
liaison avec :
 Le domaine d’intérêt :
– Surface (terre, mer, manteau neigeux,…), Altitude
– Topologie : Points, profils verticaux, emprises …
 Les paramètres mesurés :
– Paramètres de base, paramètres dérivés
 Les procédures de mesure
– In situ
• Stations de surface, bouées fixes ou dérivantes, navires sélectionnés, …
• Radiosondage, avions
Observation
• Automatisée ou humaine
de surface
– Télédétection
• Radar, Lidar,
• Satellite
• Webcam
– Fusion de données
 Par la suite, il sera question de « L’observation de surface ponctuelle, in
situ, et automatisée »
5
Les clients de l’observation
Données et produits d’observation
Les clients internes
 Prévision
Numérique
 Prévision
 Climatologie
 Production
6
Les clients externes
 Institutionnels
 OMM
 Aéronautique
 Commerciaux
Sommaire






7
L’observation à Météo-France, missions et enjeux
Les réseaux d’observation en surface
Le projet PACOME, objectifs et historique
Architecture applicative
Nouvelles exigences et perspectives
Conclusion
Missions des réseaux SOL
Un réseau d’observation est un ensemble de sites ayant une même
mission.
 Un site d’observation (station) est un lieu géographique où se situe
un système d’observation (et/ou un humain réalisant des
observations).
 Une mission d’observation décrit une finalité
par exemple la mission de « veille hydrologique » est affectée à tout site
où est effectuée une mesure de précipitation en temps réel.
A ce jour plusieurs milliers de sites contribuent à l’observation à MétéoFrance.
8
Statut des réseaux SOL
 Réseaux « propriétaires » Météo-France pour assurer ses
missions institutionnelles.
 Réseaux « partenaires » co-financés, mais sous maîtrise d’œuvre
Météo-France pour répondre à des missions institutionnelles
partagées.
 « Réseaux d’Intérêt Commun » (RIC) pour les échanges de
données avec des organismes producteurs de données.
9
Aperçu des réseaux SOL automatisés
 Réseaux « Météo-France»
–
–
–
–
Réseau SOL de référence RADOME
Réseau montagne NIVOSE
Réseau des navires sélectionnés
Réseau des bouées fixes
 Réseaux « partenaires » (OARA)
–
–
–
DGPR SALAMANDRE
DGPR Feux de Forêt
Sémaphores
 Réseaux « d'échange de données » (RIC)
–
–
1
EDF, INRA, DGPR
RIC Régionaux
Les réseaux SOL automatisés
558 stations RADOME
250 OARA (Salamandre,
88 RIC EDF
feux de forêt, sémaphores…)
6 Bouées fixes
500 RIC SPC (DGPR)
1
Copyright © 2011 Open Geospatial Consortium
Aspects de la diversité des réseaux collectés
 Type d’échanges
– Internes Météo-France
– Externes (réseaux partenaires)
Visibilité
Temps présent
 Support Télécoms
– RTC, GSM, Ligne spécialisée
 Protocoles applicatifs
– FTP, HTTP, …
Etat du sol
 Formats de données
– Propriétaires le plus souvent (BUFS, CSV …)
 Type de station in-situ
– XARIA, PULSIA, OPALE, MERCURY, …
 Équipement métrologique (capteurs et type)
1
Stations In-Situ
Sommaire






1
L’observation à Météo-France, missions et enjeux
Les réseaux d’observation en surface
Le projet PACOME, objectifs et historique
Architecture applicative
Nouvelles exigences et perspectives
Conclusion
Bref historique
 PACOME : Plate-Forme d'Acquisition et de Collecte d’Observations
Météorologiques Etendue.
 Projet lancé en 2010.
 Un volet collecte / traitement.
 Un volet renouvellement des stations hors capteurs (ce dernier non
traité dans cette présentation).
 Périmètre initial limité aux réseaux Météo-France (RADOME).
 Conception générale autour des standards SWE de l’OGC
– Modèle de données O&M
– Interfaces SOS (Accès aux données) et SPS ( Gestion des stations).
 ~75% des stations RADOME déployées sur le nouveau système fin
2014.
1
Le « socle » fonctionnel PACOME
(volet concentrateur)
 Collecter les observations issues des réseaux sols Météo-France.
 Collecter les observations issues de réseaux partenaires.
 Assurer des traitements amont sur les données
– Cumuls, paramètres agrégés, etc …
 Administrer et gérer capteurs, stations, réseaux.
 Superviser capteurs, stations, réseaux.
 Fournir des interfaces standardisées d’accès aux observations et
leurs métadonnées :
– Pour les utilisateurs externes et internes
– Pour masquer l’hétérogénéité des réseaux, stations, capteurs et
protocoles aux utilisateurs identifiés, externes et internes.
 Mettre à disposition les données en BUFR (SOLOMM et MF)
 Centraliser la collecte et les traitements (remplacer la concentration
régionale).
1
Architecture fonctionnelle
Réseaux
Mesure
Plates-formes
Collecte
RADOME
PFC RADOME
PACOME
OARA
PFC PACOME
Partenaire A
PFC Partenaire B
Partenaire B
PFC Partenaire A
PFT (Traitements Métier)
- Acquisition PFCs
- Contrôles
- Alertes sur seuil
- Encodage (BUFR, IWXXM)
- Services SOS
Plate-forme
Traitement
Mise à
disposition
1
SOS
Service Diffusion
TRANSMET
Mappage des concepts O&M
• Feature-of-Interest
• Les sites ou « stations » (ex : 07149, Orly Aéroport)
(feature-of-interest)
• Localisations sur les sites (ex : 07149 QFU 26)
(“sampling points” associés à la “feature of interest”)
• Offering
• Agrégation de paramètres mesurés par un capteur :
(ie : Vent, Température, Humidité, Visibilité, Précipitations …)
• Procedure
• Tout le réseau pour un offering
(ie : Wind Network, Temperature Network, …)
• Pour chaque station, configuration métrologique
• Observed Properties
• Paramètres > 150 !
1
Exemple de site multi-points : Orly
Sampling-Points
20
24
2406 MED
26
07149-Main
06
2608 MED
Feature-Of-Interest
08
02
1
Administration des réseaux
 Création et modification des profils de stations
–
–
–
–
–
Communication (protocole, …)
Identification et localisation
Configuration métrologique (capteurs, adresses, paramètres de
calibration, …)
Planification de l'acquisition et transfert des données
Paramétrisation des seuils d'alerte
 Services SWE : SOS & SPS
–
–
–
SOS RegisterSensor / UpdateSensor / DeleteSensor
SPS Submit / GetStatus
Problème : UpdateSensor / DeleteSensor non supportés en SOS
1.0 (disponible en SOS 2.0) Implémentés sur 52 N par Alexandre
Robin (Sensia Software)
 SWE Data model : SensorML
1
Sommaire






2
L’observation à Météo-France, missions et enjeux
Les réseaux d’observation en surface
Le projet PACOME, objectifs et historique
Architecture applicative
Nouvelles exigences et perspectives
Conclusion
Challenges ...








Fréquence d'acquisition jusqu'à 1 minute.
> 150 paramètres.
> 1000 stations temps-réel.
Notion de “vague d'acquisition” : “Paquet” de100 stations devant être
traitées en 30 secondes (pool de 100 modems).
Durée de rétention des données sur le serveur : 1 mois.
Capteurs dupliqués (pour secours).
Supervision temps-réel des station & capteurs .
Problématique : Granularité de l'“Observation”
–
2
Les “composite observed properties” (WMO OPM model) ne sont
pas supportées.
Réponses aux problèmes de performances
 Importants problèmes de performances sur le serveur 52 north 3.x
dans notre contexte.
 Schéma de la base de données :
– Suppression des index inutilisés
– Création de nouveaux index (Pour optimiser le traitement des séries
temporelles)
– Double partitionnement TimeStamp / Offering
– Identifiants numériques pour les lignes
 Insertions massives via SQL (et non plus InsertObservation).
 Optimation des lectures : Cache REDIS.
2
Architecture Applicative actuelle PFT
Plate-Forme de Traitement (PFT)
Près traitement
Traitements métier
BUFR MF
BUFR OMM
PlatesFormes de
Collecte
(PFC)
Cache REDIS
3.0
3.0
Serveur SWE
Données brutes
1.0
SPS
SOS
Serveur SWE
Données
production
1.0
SOS
O&M XML
SensorML
Administration
Réseaux
2
Diffusion
TRANSMET
Encodage
Supervision
Système
Clients SOS
Sommaire






2
L’observation à Météo-France, missions et enjeux
Les réseaux d’observation en surface
Le projet PACOME, objectifs et historique
Architecture applicative
Nouvelles exigences et perspectives
Conclusion
Nouvelles exigences fonctionnelles
RADOME vers PACOME
(nouvelles stations, nouveaux protocoles, et nouvelle PFC)
Intégration de nouveaux réseaux (partenaires, navires, bouées)
Nouveaux traitements métiers exigeants :
–
–
Contrôle des données au fil de l'eau,
Calcul d'alertes sur seuil, encodages complexes (IWXXM), ...
Utilisation plus large des interfaces SOS en interne
Ouverture externe des interfaces SOS
–
–
Identification et gestion des autorisations
Règles d'implémentation INSPIRE (extension multi-langues, séries
temporelles WaterML2)
Performances :
–
Les accès en SOS ne doivent pas dégrader les performances du
serveur
Abonnement / notification, pour :
–
2
Alertes, données minutes dans la minute (Aéronautique)
Perspectives ...
 Vers SWE 2.0 ...
 Intégration de 52 North 4.1, doit apporter :
–
–
–
Conformité INSPIRE (Multilingual extension, service metadata, …)
Time series WaterML2
Optimisations ?
 Benchmark prévu début 2015
 Nouvelle plate-forme matérielle dédiée aux accès externes
–
INSPIRE, autres
 Utilisation du nouveau dictionnaire de concepts OMM
2
Architecture Applicative Cible PFT
Plate-Forme de Traitement (PFT)
Près traitement
Traitements métier
BUFR MF
BUFR OMM
IWXXM
PlatesFormes de
Collecte
(PFC)
Cache REDIS
4.1
4.1
Serveur SWE
Données brutes
2.0
SPS
SOS
Serveur SWE
Données
production
2.0
SOS
WaterML2
O&M XML
SensorML
Administration
Réseaux
2
Diffusion
TRANSMET
Encodage
Supervision
Système
Clients SOS
Accès externes
DMZ
Reverse proxy
Frontal DMZ
Inverseur de flux HTTP
Zone Opérationnelle
ESB
SOS
PFT Maître
SOS
PFT Répliquée
lecture seule
Service Identification
Service Autorisation
Streaming Replication
2
Dictionnaire de concepts OMM








Vocabulaire contrôlé pour les paramètres (observed properties)
Egalement les procédures, unités ...
Importance pour assurer l'interopérabilité effective des standards SWE
Gouvernance et hébergement OMM : http://codes.wmo.int/
Dérivé des tables de code “historiques” BUFR et GRIB.
Implémentation SKOS (Simple Knowledge Organisation System).
Permet de décrire des hiérarchies de concepts.
Voie économique assez simple de transition vers les technologies
sémantiques.
 La première version répond aux format d'échange IWXXM pour
aéronautique (METAR, TAF, SIGMET).
 Le dictionnaire sera étendu pour couvrir l'ensemble des concepts.
2
Dictionnaire de concepts OMM
3
Dictionnaire de Concepts OMM
3
Conclusion
 A son début (2010), projet assez (trop?) novateur de mise en œuvre des
standards SWE au niveau d'un concentrateur opérationnel ;
 Des optimisations ont rapidement dû être mises en place pour permettre au
serveur de tenir la charge ;
 Le projet est plus serein après le basculement de 75% du réseau RADOME
sur le nouveau système ;
 Mais il va nous falloir intégrer de nouveaux réseaux, et répondre à de
nouvelles exigences, pouvant à nouveau affecter les performances ;
 Benchmark 52 North SOS 4.x pour lever ces risques et éventuellement
migrer sur une autre implémentation ;
 On espère maintenant tirer les bénéfices de ces efforts de standardisation
et d’interopérabilité pour nos échanges de données internes et externes.
3
Merci de votre attention.
Questions ?
3