Transcript Document
Analyses multi-modèles ; multi-ensembles
CMIP5. Le projet Prodiguer.
(IPSL Climate Modeling Center)
Sébastien Denvil, Ashish Bhardwaj, Franck
Corsini, Mark Morgan, Hans Moulron, Jérôme
Raciazek, Philippe Weill, JL. Dufresne.
Laboratoires et tutelles
2
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
PLAN
1.
2.
3.
4.
5.
L’activité de modélisation du Climat
D’un projet CMIP à l’autre
Accès et organisation des données
CMIP5
Prodiguer et CMIP5
Analyses
3
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Modèles de l'IPSL
Conditions
aux limites
Modèle du système Terre (ESM)
Composition
Biogéochimie
Émissions
CO2
Utilisation
des sols
Chimie tropo &
aérosols (INCA)
Ozone starto.
(Reprobus)
Carbone / CO2
(Orchidée, Pisces)
O3
aérosols
CO2
Atmosphère (LMDZ)
Continent (Orchidée)
Coupleur (OASIS)
Océan (Nemo)
Glace de mer (LIM)
Climat
Émissions
autres que
CO2
Physique - Transport
Autres
Volcans
Insolation
Relief
GES
Descente d’échelles régionales :
Statistique
Dynamique
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
4
IPSL Earth System Model (ESM)
Emissions
Tropospheric chemistry
& aerosols (INCA)
•Physic – Transport
•Atmosphere (LMDZ)
•Surface (ORCHIDEE)
Land use
Carbon / CO2
(ORCHIDEE, NEMO/PISCES)
Volcanoes
Solar
irradiance
•Ocean (NEMO/OPA)
Global climate
•Sea ice (NEMO/LIM2)
•Coupler (OASIS)
Stratospheric chemistry
/ ozone (REPROBUS)
Various kind of
Model
Impacts studies
Dynamical Downscaling
Regional
climate
Statistical Downscaling
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
5
IPSL Earth System Model (ESM)
Emissions
Tropospheric chemistry
& aerosols (INCA)
•Physic – Transport
•Atmosphere (LMDZ)
•Surface (ORCHIDEE)
Land use
Carbon / CO2
(ORCHIDEE, NEMO/PISCES)
Volcanoes
Solar
irradiance
•Ocean (NEMO/OPA)
Global climate
•Sea ice (NEMO/LIM2)
•Coupler (OASIS)
Stratospheric chemistry
/ ozone (REPROBUS)
Various kind of
Model
Impacts studies
Dynamical Downscaling
Regional
climate
Statistical Downscaling
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
6
An Earth System Model (ESM) closes the carbon cycle
Atmospheric circulation and radiation
Climate Model
(AOGCM)
Sea Ice
Ocean circulation
Land physics
and hydrology
Atmospheric circulation and radiation
Allows Interactive CO2
Earth System
Model (ESM)
Sea Ice
Ocean ecology and
Biogeochemistry
Ocean circulation
Plant ecology and
land use
Land physics
and hydrology
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
7
Une simulation climatique
METAFOR schema : http://metaforclimate.eu/trac/browser/CIM/tags/version-1.5
METAFOR site : http://www.purl.org/org/esmetadata/cim/portal
Why
What
How
Experiment
Simulation
Model
Input: Coupling
Output: Data
1..*
Requirement
0..*
Conformance
Software
Component
Name
Properties
Description
Coupling Framework
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
0..1 Parent
0..* Child
8
Initialization: How is this done?
Implications for you
• Modelers make a long Pre-industrial control
-Typically 1850 or 1860 conditions
• Perturbation runs start from control
- Model related to real years only through
radiative forcing
- Solar, volcanoes, human emissions, land use,
etc.
• Each ensemble member an equally likely outcome
• Do not expect wiggles to match – model vs obs
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
9
Coupled Model Intercomparison
Project(s)
http://cmip-pcmdi.llnl.gov/cmip5/
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
10
CMIP3/AR4
About 18 groups using 24 models participated.
More than 1000 papers written using CMIP3 database
Downloads continue at very high rate
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
11
CMIP3/AR4
Un intérêt qui ne se dément pas
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
12
Quelques chiffres
CMIP3/AR4
AR 4 (Assessment Report #4), 2007
18 groupes de modélisation
35 Terabytes
77,000 fichiers
Quantité de données distribuée :
303 Terabytes
1 098 000 fichiers.
Les groupes ont généré et exploités probablement 10x plus de
données
AR 5 (Assessment Report #5), ~ 2013
Un facteur 30 à 50 en volume
Une volonté de distribué une plus grande proportion des données
La base de données doit être distribuée
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
13
D'un projet CMIP à l'autre,
d'un rapport du GIEC à l'autre
CMIP3, IPCC-AR4 (2007)
=> Énorme succès de la base de données multi-modèles
Changement de paradigme: analyse multi-modèles
Utilisation au delà de la communauté des « climatologues »
CMIP5, IPCC-AR5 (2013)
=> Des simulations « centennales » variées:
è
20 et 21 siècles (historiques + scénarios futurs)
paléoclimat, dernier millénaire...
SST forcée (AMIP, Chimie-Climat, très haute résolution...)
=> Des modèles de complexités différentes:
• Modèle climatique “physique” (AOGCM)
• Modèles avec cycle biogéochimique (modèle système Terre)
• Configurations idéalisées (aqua-planète, ...)
=> Des simulations décennales
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
14
CMIP5/AR5
Un compte à rebours
Fin 2009 Fin 2010 : Simulations Climatiques
Mi 2010 ? : Distribution des données
Fin 2010 Juillet 2012 : soumission des articles
Septembre 2013 : IPCC AR5 WG1 session plénière
Octobre 2014 : Prix Nobel?
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
15
Simulations proposées par CMIP-5 pour la préparation
du 5e rapport du GIEC
Évaluation
Obs.
Scénarios
futurs
Compréhension
Analyse de
forçages et
des réponse
Long terme (centennal)
Court terme (décennal)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
16
Simulations centennales proposées par CMIP5 pour la
préparation du 5e rapport du GIEC
Thématiques
d'intérêt pour
l'IPSL
Évolution du
climat au 20e
siècle
Évolution du
climat au 21e
siècle
Climat-carbone
( C4MIP)
Nuages
(CFMIP)
Paléoclimats
Estimation
des forçages
radiatifs
Paléoclimat
(PMIP)
Aérosols
(AEROCOM)
Emissions
(GEIA)
Ozone
(CCMVal)
Sensibilité
climatique et
rétroactions
des nuages
Chimie et
aérosols
Couplage climat-carbone
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
17
CMIP5/AR5
Quatre scénarios futures (dont un très optimiste) :
RCP8.5, RCP6.0, RCP4.5, RCP 2.6
Noms basés sur le forçage en 2100 (W / m**2)
Détail des émissions et concentrations sur :
http://www.iiasa.ac.at/web-apps/tnt/RcpDb/dsd?Action=htmlpage&page=welcome
Travail à rebours pour les « modélisateurs Intégrés »
Bâtir les scénarios d'activité correspondant à ces forçages
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
18
CMIP5/AR5
Concentration
Scénarios définis en termes de forçage
radiatif
Travail en parallèle des
communautés« climat » et « socioéconomique »
Scénarios futurs incluant des politiques de
contrôle des perturbations anthropiques
Un scénarios pour limiter le réchauffement
à 2°C environ
Forçage radiatif
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
19
Near Term - Core
CMIP5/AR5
10 year hindcasts
30 year forecasts
1965
1960
Initialized at 1960, 1965, 1970 …
3+ ensemble members
Initialized at 1960, 1980, 2005
3+ ensemble members
1970
1975
1980
1985
1990
1995
2000
2005
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
2010
2030
20
Near Term – Tier 1
CMIP5/AR5
Investigate role of short live species
Investigate alternative initialization methods
100 yr control and 1% run (if not doing long term experiments
with same model)
Increase ensemble size to 10+
Hindcast without volcanoes
Runs initialized in 200X
2001, 2002, 2003, 2004, 2006, 2007, 2008, …
Prediction with Pinatubo-like event in 2010
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
21
Modèles de l'IPSL
CMIP5/AR5
LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS
Modèle intégré du système
Terre (ESM), physique
éprouvée: IPSL-CM5A
Basse
résolution
IPSL-CM5A-LR
(3.75°x2°L39)
Oce: 2°
Simulations
demandées
(toutes)
de sensibilité
avec ≠ niveaux
d'intégration
Moyenne
résolution
IPSL-CM5A-MR
(2.5°x1.25°L39)
Oce: 2°
Simulations
demandées
(principales)
guidage mod.
régionaux
de sensibilité
Modèle avec nouvelle
physique
IPSL-CM5B
Basse
résolution
IPSL-CM5B-LR
(2.5°x1.25°L39)
Oce: 2°
Simulations
demandées
(principales)
Moyenne
résolution
(2.5°x1.25°L39)
Oce: 2°
Haute
résolution
(2°x1°L39)
Oce: 0.5°
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
22
Accéder aux résultats CMIP5
Contact
cmip5-helpdesk (AT) stfc.ac.uk
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
23
CMIP5/AR5
Coupled Model Intercomparison
Project (5)
Coordination de l’aspect données
PCMDI: Communauté CMIP5
BADC et WDCC: Communauté Climat Européenne et
IPCC working group 2 et 3 (“mandat” IPCC-DATA.ORG)
3 Décembre 2008: MoU Tripartite (PCMDI, BADC, WDCC)
> 20 groupes de modélisation du climat
> 50 expériences numériques
> 86 simulations pour satisfaire aux expériences
> 6500 ans de simulation
> 800 To d’archive actuellement
1 Po (3 Po) envisagés d'ici 1 an (2 ans)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
24
Modelers, PCMDI, JPL, ESA, Community
Who does what?
Produce
Simulations &
Projections &
make them
available
(HUGE job;
focus on model
development)
Model output
archived in a
uniform fashion
to facilitate
access and
analysis. (Far
from trivial –
see below)
Sophisticated
development
and application
of model
diagnostics for
evaluation
(Observations
needed here, but
which ones?)
Enormous Model Output/Complexity
pre-industrial control
Identify and
deliver/archive
observations in
form useful for
model analysis
(Requires
model, obs and
IT expertise)
present-day control
committed climate change
SRES A2
720 ppm stabilization (SRES A1B)
550 ppm stabilization (SRES B1)
1%/year CO2 increase (to doubling)
1%/year CO2 increase (to quadrupling)
slab ocean control
2xCO2 equilibrium
AMIP
2
4
6
8
10
12 14
16
18
20
22
24
26
Number of Models
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Waliser et al. 2009, Climatic Change, Submitted.
To quantify and reduce uncertainty, this chain
has to work.
climate of the 20th Century (20C3M)
0
Develop global
observations
relevant to
climate change
research (Focus
on hardware,
retrievals,
delivery)
25
http://is.enes.org
IPSL
EU FP7 :
IS-ENES
METAFOR
CNRM
CMCC
EC-EARTH
Distributed : 3.3 Po
Earth System Grid Federation
Adapted from Taylor, WGCM, 2010
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
26
La Fédération Earth System Grid conduite par
le PCMDI
Données disponible auprès des
groupes de modélisation (via ESG), et
dans de multiples “CORE centres”.
Données des
groupes de
modélisation
Si chaque couleur représente les sorties
d’un groupe de modélisation, alors on
peut voir que la structure est en hub,
avec réplication au sein des noeuds
centraux, et connections à des noeuds
périphériques.
CORE
(au moins)
TROIS
COPIES
Tout les centres qui fourniront
des “core-data” ne rendront
pas disponible le reste au sein
de la fédération de sites.
Plusieurs copies du
“CORE data”; ESG et
d’autres interfaces!
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
27
Data Node Architecture
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
28
ESGF GATEWAY HOW TO
First register as a user with the CMIP5 research role.
http://pcmdi3.llnl.gov
http://cmip-gw.badc.rl.ac.uk
http://ipcc-ar5.dkrz.de
How-to from CMIP5 website
http://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html
How-to from is-enes portal
https://verc.enes.org/help/how-to-./esgf-gateways/
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
29
Coupled Model “Decadal” Simulations
#
Year
Per
run
Ensemble size
requested
decadal hindcasts/predictions, some
extended to 30 years
10-30
≥3*≥10
volcano-free
hindcasts
hindcasts but without volcanoes
10-30
≥3
prediction with
2010 volcano
Pinatubo-like eruption imposed in year
2010
10-30
≥3
chemistry-focused
runs
near-term runs with enhanced
chemistry/aerosol models
10-30
1
Short Name
of Experiment
Experiment
Name
(In CMIP5 output
files this is
recorded in the
global attribute
named
experiment_id”.)
(In CMIP5 output
files this is
recorded in the
global attribute
named
“experiment”.)
1.1
1.2
1.5
decadalXXXX*
10- or 30-year run
initialized in year
XXXX*
1.3
noVolcXXXX*
1.4
volcIn2010
1.6
**
Experiment Description
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
30
Coupled Model Long-Term Simulations
3.1
piControl
pre-industrial control
coupled atmosphere/ocean pre-industrial control
run
≥500
1
3.2
historical
historical
simulation of recent past (1850-2005)
156
≥1
3.4
midHolocene
mid-Holocene
consistent with PMIP, impose Mid-Holocene
conditions
100
1
3.5
lgm
last glacial
maximum
consistent with PMIP, impose last glacial maximum
conditions
100
1
3.6
past1000
last millennium
consistent with PMIP, impose forcing for 850-1850
1000
1
4.1
rcp45
RCP4.5
future projection (2006-2300) forced by RCP4.5
95295
1
4.2
rcp85
RCP8.5
future projection (2006-2300) forced by RCP8.5
95295
1
4.3
rcp26
RCP2.6
future projection (2006-2300) forced by RCP2.6
95295
1
4.4
rcp60
RCP6
future projection (2006-2100) forced by RCP6
95
1
5.1
esmControl
ESM pre-industrial
control
as in experiment 3.1, but emissions-forced (with
atmospheric CO2 determined by model)
250
1
5.2
esmHistorical
ESM historical
as in experiment 3.2, but emissions-forced (with
atmospheric CO2 determined by model)
156
1
5.3
esmrcp85
ESM RCP8.5
as in experiment 4.2, but emissions-forced (with
atmospheric CO2 determined by model)
95
1
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
31
Coupled Model Long-Term Simulations
5.41
esmFixClim1
ESM fixed climate 1
radiation code "sees" control CO2, but carbon cycle
sees 1%/yr rise
140
1
5.42
esmFixClim2
ESM fixed climate 2
radiation code "sees" control CO2, but carbon cycle
sees historical followed by RCP4.5 rise in CO2
251
1
5.51
esmFdbk1
ESM feedback 1
carbon cycle "sees" control CO2, but radiation sees
1%/yr rise
140
1
5.52
esmFdbk2
ESM feedback 2
carbon cycle "sees" control CO2, but radiation sees
historical followed by RCP4.5 rise in CO2
251
1
6.1
1pctCO2
1 percent per year
CO2
imposed 1%/yr increase in CO2 to quadrupling
140
1
6.3
abrupt4xCO2
abrupt 4XCO2
impose an instantaneous quadrupling of CO2, then
hold fixed
150
≥1
7.1
historicalNat
natural-only
historical simulation but with natural forcing only
156
≥1
7.2
historicalGHG
GHG-only
historical simulation but with greenhouse gas
forcing only
156
≥1
7.3
historicalMisc*
other historical
forcing
historical simulation but with other individual forcing
agents or combinations of forcings.
156
≥1
7.4
historicalExt
historical extension
extension of the historical simulation (experiment
3.2) through year 2012.
7
≥1
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
32
Atmosphere-Only Simulations
AMIP
AMIP (1979- at least 2008)
≥30
≥1
sst2030
2030 time-slice
conditions for 2026-2035 imposed
10
≥1
6.2a
sstClim
control SST
climatology
control run climatological SSTs & sea ice imposed
30
1
6.2b
sstClim4xCO2
CO2 forcing
as in experiment 6.2a, but with 4XCO2 imposed
30
1
6.4a
sstClimAerosol
all aerosol forcing
as in experiment 6.2a, but with aerosols from year
2000 of experiment 3.2
30
1
6.4b
sstClimSulfate
sulfate aerosol
forcing
as in experiment 6.2a, but with sulfate aerosols
from year 2000 of experiment 3.2
30
1
6.5
amip4xCO2
4xCO2 AMIP
AMIP (1979-2008) conditions (experiment 3.3) but
with 4xCO2
30
1
6.6
amipFuture
AMIP plus
patterned anomaly
consistent with CFMIP, patterned SST anomalies
added to AMIP conditions (experiment 3.3)
30
1
6.7a
aquaControl
aqua planet control
consistent with CFMIP, zonally uniform SSTs for
ocean-covered earth
5
1
6.7b
aqua4xCO2
4xCO2 aqua planet
as in experiment 6.7a, but with 4XCO2
5
1
6.7c
aqua4K
aqua planet plus 4K
anomaly
as in experiment 6.7a, but with a uniform 4K
increase in SST
5
1
6.8
amip4K
AMIP plus 4K
anomaly
as in experiment 3.3, but with a uniform 4K increase
in SST
30
1
3.3
amip
2.1
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
33
Search
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
34
Login
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
35
Select
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
36
Get wget.sh
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
37
Credential
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
38
Organisation des données CMIP5
Objectif :
Pouvoir exploiter directement les données produites par les
autres centres
Une « table » :
Une liste de variables géophysiques
Une fréquence de sortie parmi : year, mon, day, 6h, 3h, clim, fx
Peut concerner un ou plusieurs milieux (« realms »):
Omon, Amon, Lmon, Oimon, cfMon, cfDay
aero, day, 6hLev, 6hrPlev, 3hr
Peut concerner toute ou partie de la durée d'une simulation
Un piège :
un même nom de variable peut avoir des significations différentes
dans deux tables .
Ex : sbl dans Amon et LImon
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
39
Organisation des données CMIP5 - contenu
des « tables »
Dictionnaire exhaustif des sorties CMIP5 (167 pages, 800 vars):
Data Reference Syntax (DRS)
http://pcmdi-cmip.llnl.gov/cmip5/docs/standard_output.xls
http://cmip-pcmdi.llnl.gov/cmip5/docs/cmip5_data_reference_syntax.pdf
Dans table Amon : 3D atmos sur 17 niveaux de pressions sauf
cl, clw, cli, mc, phalf, pfull
Dans table aero et cfMon : 3D atmos sur niveaux modèles.
Dans table day : 3D atmos sur 7 niveaux de pressions
Dans table cfDay : 3D atmos sur niveaux modèles
6hLev : ta, ua, va, hus, psl : 3D atmos sur niveau modèle ; input à
CORDEX
6hPlev : ta, ua, va, ps : 3D atmos sur 3 niveaux de pression
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
40
Organisation des données CMIP5 - fichiers
Un fichier = une variable géophysique pour une période d'un membre d'une
simulation d'un modèle (et d'une table)
Noms de fichiers de la « Data Reference Syntax »
<variable name>_<MIP table>_<model>_<experiment>_<ensemble
member>[_<temporalsubset>].nc
ta_Amon_IPSL-CM5A-LR_historical_r5i1p1_195001-200512.nc
<variable name>, <MIP table>, <model>, <experiment>, and <ensemble
member> are DRS components,
The <temporal subset> is omitted for variables that are time-independent.
ensemble_member : r<N>i<M>p<L>
r : n° d'état initial
i : n° de méthode d'initialisation
p : n° de version de « physique » (ou n° de jeu de forçage pour
historicalMisc)
N=M=L= 0 pour les champs fixes
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
41
Organisation des données CMIP5 – attributs
globaux netcdf
Le labo et le modèle
:institution = "IPSL (Institut ..)" ; / :institute_id = "IPSL" ; / :model_id = "IPSL-CM5A-LR" ;
:contact = "ipsl-cmip5 _at_ ipsl.jussieu.fr ...
:comment = " ... include natural and anthropogenic forcings ...." ;
:references = " ...reference available here : http://icmc.ipsl.fr" ;
:source = "IPSL-CM5A-LR (2010) : atmos : LMDZ4 (LMDZ4_v5, 96x95x39) ; ...
L'expérience
:experiment_id = "historical" ;
:forcing = "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA" ;
:parent_experiment = "pre-industrial control" ; / :parent_experiment_id = "piControl"
;
:parent_experiment_rip = "r1i1p1" ;
:branch_time = 2000. ; (en année (IPSL) ou en jours (CNRM) ou en seconde ...)
Fréquence et milieu
:frequency = "mon" ; / :modeling_realm = "atmos" ;
:tracking_id = "92c75dc8-a117-4827-b8fc-b746156ccf21"
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
42
Controlled Vocabulary (CV) for Abbreviated
“Forcing” Descriptors
Abbrev.
Forcing Description
Abbrev.
Nat
natural forcing (a combination, not explicitly
defined here, that might include, for example,
solar and volcanic)
LU
land-use change
Ant
anthropogenic forcing (a mixture, not explicitly
defined here, that might include, for example,
well-mixed greenhouse gases, aerosols,
ozone, and land-use changes).
Sl
solar irradiance (note: Sl is “S” followed
by a lower case “L”, not an upper case
“I”)
GHG
well-mixed greenhouse gases (a mixture, not
explicitly defined here)
Vl
volcanic aerosol (note: Vl is “V” followed
by a lower case “L”, not an upper case
“I”)
SD
anthropogenic sulfate aerosol, accounting
only for direct effects
SS
sea salt
SI
anthropogenic sulfate aerosol, accounting
only for indirect effects
Ds
Dust
anthropogenic sulfate aerosol direct and
indirect effects
BC
black carbon
TO
tropospheric ozone
MD
mineral dust
SO
stratospheric ozone
OC
organic carbon
ozone (= tropospheric and stratospheric
ozone)
AA
anthropogenic aerosols (a mixture of
aerosols, not explicitly defined here)
SA (= SD + SI)
Oz (= TO +
SO)
Forcing Description
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
43
CV for Modeling Center and Models
Modeling Center (or Group)
Institute
ID
Model Name
The Centre for Australian Weather and Climate Research
CAWCR
ACCESS1.0
Beijing Climate Center, China Meteorological Administration
BCC
BCC-CSM1.1
College of Global Change and Earth System Science, Beijing
Normal University
GCESS
BNU-ESM
Canadian Centre for Climate Modelling and Analysis
CCCMA
CanESM2
CanCM4
CanAM4
University of Miami - RSMAS
RSMAS
CCSM4(RSMAS)
National Center for Atmospheric Research
NCAR
CCSM4
CESM1(BGC)
CESM1(CAM5)
CESM1(CHEM,CAM5)
CESM1(CHEM)
CESM1(WACCM)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
National Centers for Environmental
Prediction
NCEP
CMIP5
et Prodiguer. S.Denvil et al. IPSL
2012.
CFSv2
44
CV for Modeling Center and Models
Centre National de Recherches Meteorologiques / Centre
Europeen de Recherche et Formation Avancees en Calcul
Scientifique
CNRM-CERFACS
CNRM-CM5
Commonwealth Scientific and Industrial Research Organization
in collaboration with Queensland Climate Change Centre of
Excellence
CSIRO-QCCCE
CSIRO-Mk3.6
EC-EARTH consortium
EC-EARTH
EC-EARTH
LASG, Institute of Atmospheric Physics, Chinese Academy of
Sciences
LASG-IAP
FGOALS-G2.0
FGOALS-gl
FGOALS-S2.0
The First Institute of Oceanography, SOA, China
FIO
FIO-ESM
NASA Global Modeling and Assimilation Office
NASA GMAO
GEOS-5
NOAA Geophysical Fluid Dynamics Laboratory
NOAA GFDL
GFDL-CM2.1
GFDL-CM3
GFDL-ESM2G
GFDL-ESM2M
GFDL-HIRAM-C180
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
GFDL-HIRAM-C360
45
CV for Modeling Center and Models
NASA Goddard Institute for Space Studies
NASA GISS
GISS-E2-H
GISS-E2-H-CC
GISS-E2-R
GISS-E2-R-CC
GISS-E2CS-H
GISS-E2CS-R
NASA Global Modeling and Assimilation Office
NASA GMAO
GEOS-5
National Institute of Meteorological Research/Korea
Meteorological Administration
NMR/KMA
HadGEM2-AO
Met Office Hadley Centre
MOHC
HadCM3
HadCM3Q
HadGEM2-CC
HadGEM2-ES
HadGEM2-A
Activité Research
de Modélisation
CMIP
– ACCÈSundeclared
– Prodiguer
Natural and Environmental
Council/Met–Office
Hadley
Centre
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
– Analyses
HiGEM1.2
46
CV for Modeling Center and Models
Institute for Numerical Mathematics
INM
INM-CM4
Institut Pierre-Simon Laplace
IPSL
IPSL-CM5A-LR
IPSL-CM5A-MR
IPSL-CM5B-LR
Japan Agency for Marine-Earth Science and Technology,
Atmosphere and Ocean Research Institute (The University of
Tokyo), and National Institute for Environmental Studies
MIROC
MIROC-ESM
MIROC-ESM-CHEM
Atmosphere and Ocean Research Institute (The University of
Tokyo), National Institute for Environmental Studies, and Japan
Agency for Marine-Earth Science and Technology
MIROC
MIROC4h
MIROC4m
MIROC5
Max Planck Institute for Meteorology
MPI-M
MPI-ESM-HR
MPI-ESM-LR
MIP-ESM-P
Meteorological Research Institute
MRI
MRI-AGCM3.2H
MRI-AGCM3.2S
MRI-CGCM3
MRI-ESM1
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
Norwegian Climate Centre
NCC
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
NorESM1-M
47
Organisation des données CMIP5 – structure
des répertoires (1)
The standard CMIP5 output tool CMOR2 writes output
files to a directory structure mapping DRS components
to directory names as:
<activity>/<product>/<institute>/<model>/<experiment>/
<frequency>/<modeling realm>/<variable
name>/<ensemble member>/
/CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/atmos/tas/r3i2p1/
/CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p1/
This structure, based on a previous version of the
DRS, is incompatible with the recommended current
DRS directory structure (see after).
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
48
Organisation des données CMIP5 – structure
des répertoires (2)
It is recommended that ESGF data nodes should layout
datasets on disk mapping DRS components to directories as:
<activity>/<product>/<institute>/<model>/<experiment>/<fre
quency>/<modeling realm>/<MIP table>/<ensemble
member>/<version number>/<variable name>/<CMOR
filename>.nc
/CMIP5/output1/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta
/CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
49
Organisation des données CMIP5 – structure
des répertoires (3)
output1 and output2 merge into a single directory:
<activity>/merge/<institute>/<model>/<experiment>/<frequen
cy>/<modeling realm>/<MIP table>/<ensemble
member>/<version number>/<variable name>/<CMOR
filename>.nc
/CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta
/CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/latest/ta
/CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai
/CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/latest/lai
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
50
Le projet IPSL Prodiguer
S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan, H.Moulron, J. Raciazek,
P.Weill, JL. Dufresne.
Contact
sdipsl (AT) ipsl.jussieu.fr
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
51
Prodiguer ; what's that?
Calcul : ciclad.ipsl.jussieu.Fr
Cluster de calcul (20 nœuds dual quad-core AMD)
« Climate analysis enabled » netcdf, cdo, ferret, matlab…
Stockage : /prodigfs/esg/CMIP5/merge
Sous ensemble CMIP5 (160 To 300 To début 2012)
Support à l'analyse : Prodiguer
Un portail «beau et intuitif» pour naviguer dans le
sous ensemble CMIP5 : https://prodiguer.ipsl.fr
Un outil puissant de téléchargement CMIP5
(fonctionnalités proches du script type wget CMIP3)
Un data node «maison» (accès opendap sur
agrégation) (année 110 + 1120 = 120)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
52
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
53
État des lieux CMIP5 : ESG
The GOOD
DOI pour les données (Digital Object Identifier)
ESG ça marche
The BAD
Mais pas très bien d’après moi
Couche sécurité (cf licence) : c’est louuurd
The UGLY
Les portails CMIP5 ne sont pas intuitifs
Téléchargement complexe (+authentification/autorisation)
Incohérence des arborescences des data nodes
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
54
État des lieux CMIP5 : IPSL
The GOOD
Collaboration au niveau nationale quant à l’installation du
nœud de données. (L’IPSL a été moteur)
IPSL et CNRM/CERFACS : parmi les 5 premiers groupes
présents sur ESG (mars 2011)
~ 62% du volume de l’archive CMIP5 vient de la
communauté ENES (de l’IPSL principalement)
The VERY SURPRISING
Le datanode IPSL distribuant les données stockés sur
ciclad est la première machine en sortie de réseau de
l’UPMC (devant des serveurs distribuant linux).
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
55
État des lieux CMIP5 : IPSL
The VERY SURPRISING 2011
Volume (To) / Nombre de fichiers téléchargés
Avril
: 1.26 To / 777 fichiers
Mai
: 2.96 To / 1855 fichiers
Juin
: 16.2 To / 7274 fichiers
Juillet
: 1.51 To / 2028 fichiers
Août
: 13.9 To / 8627 fichiers
Septembre : 5.9 To / 1946 fichiers
Octobre
: 11.1 To / 8758 fichiers
(Mi)Novembre: 28.5 To / 17238 fichiers
Total : 81.6 To / 48503 fichiers
Nombre de requêtes : 2 659 584
A comparer avec les 48 503 fichiers totaux !
Nombre d’IP ayant demandé un téléchargement : 415
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
56
État des lieux CMIP5 : financement actuel
Source européenne: FP7 : METAFOR/IS-ENES/EGI
Source internationale : G8 : projet ExArch
Source nationale : GIS : Prodiguer. Future : ANR?
Labellisation INSU PRODIGUER : refusé
Dossiers classés A et considérés comme de bons projets pouvant
sans conteste être labellisés, mais qui mériteraient certainement
une ouverture nationale plus grande ou dont l’implémentation doit
être revue.
PRODIGUER système de diffusion des données de modélisation,
issues des exercices du GIEC, est un projet tout à fait intéressant
mais dont le soutien comme SOERE peut faire débat. L’avis du
comité est que cette initiative mérite d’être soutenue dans un cadre
qu’Allenvi pourrait déterminer.
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
57
En soutient de cette activité
FP7 METAFOR : 60 Keuros. Work Package (WP) leader
GIS Climat : PRODIGUER 118 Keuros. Porteur du projet.
FP7 IS-ENES: 110 Keuros. Contact IPSL de 2 WP.
FP7 EGI-INSPIRE : 100 Keuros. Contact IPSL d'un WP.
G8 ExArch: 197 Keuros. PrincipaI Investigator (PI).
Un financement cumulé de 585 Keuros sur 5 ans
Trois ingénieurs recrutés sur ces projets (dans la continuité),
le troisième depuis un an.
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
58
Les soutients potentiels
EQUIPEX2 GENCI : DIP-HPC 70Keuros d'équipement pour
l'IPSL. WP leader. Soumis en septembre 2011. Refusé.
FP7 : IS-ENES2 260 Keuros. WP leader. Soumis en
novembre 2011.
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
59
SCIENTIFIC PARTNER OR HPC COMPUTING CENTRES
CCRT (CEA)
IDRIS (CNRS)
..
.
IPSL
CORE (CMIP5+PMIP3+*MIP)
HTTPS / X509
Meteo-France
R&D
HTTPS / X509
HTTPS / X509
PRODIGUER WEB SERVERS
(IPSL)
ESG GATEWAY
HTTPS / OpenID
HTTPS / X509
HTTPS / X509
METAFOR
IS-ENES
HTTPS / OpenID
HTTPS / OpenID
HTTPS / OpenID
PRODIGUER COMMUNITY
(Scientists, Researchers, Students)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
60
Prodiguer portal
CMIP5 subset query/access tools
IPSL - METAFOR – IS-ENES - ESGF
M.Morgan, S.Denvil
Contact
Momipsl (AT) ipsl.jussieu.fr
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
61
https://prodiguer.ipsl.fr/
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
62
Dashboard and data access
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
63
Start
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
64
Wait...
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
65
Search
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
66
Select
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
67
Tick it
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
68
Choose
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
69
copy/paste
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
70
Synchro-Data
CMIP5 data access tools
IPSL - ESGF - EGI
J.Raciazek, S.Denvil
Contact
Jripsl (AT) ipsl.jussieu.fr
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
71
Overview
Search for CMIP5 data in ESGF
Metadata analysis
File selection using DRS facets (realm, freq, experiment,
ensemble, variable). So called template.
Incremental search (keep track of what have already been
downloaded)
Compute total files size
Check if all variables get a match in ESGF
Transfer files from ESGF to local filesystem
Transparent handling of x509 Certificate based security
HTTP Parallel download
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
72
WARNING
You should not use it to download files
IPSL Climate Modeling Group supports :
Centralized templates handling
To avoid redundant downloads
To avoid unnecessary network burden
Prefer several small templates (not a big one)
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
73
Installation
Retrieve installation script from synchro-data
webpage
Run the script with « -b » option to start
installation in $HOME/synchro_data
wget http://dods.ipsl.jussieu.fr/jripsl/synchro_data/install.sh
chmod +x install.sh
./install.sh -b
If you want to install in non default location, use
« -t » option
./install.sh -b -t /opt
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
74
Configuration
Sign up to ESGF
Set username and password
Edit file .synchrodata_login
Select which models to download
http://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html
Edit file MODELS
Select which variables to download
Edit file user_selections/default.txt
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
75
Template example
experiments="historical amip decadal2000"
ensembles="r1i1p1"
#ensembles="all"
variables[atmos][mon]="tas"
variables[land][fx]="sftgif"
variables[seaIce][mon]="sic evap nshrice"
variables[ocnBgchem][mon]="dissic fbddtalk"
variables[atmos][mon]="ta hur clcalipso parasolRefl"
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
76
Usage
Search for files
Start download
./start.sh -b
Get download current status
./start.sh -a [-t template]
./start.sh -s
Stop download
./stop.sh
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
77
Usage (suite)
Change priority (e.g. set higher priority for a
template)
Update model list
./start.sh -e
Retry transfer with error status
./start.sh -c -p 1500 [-t template]
./start.sh -j
More options
./start.sh -h
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
78
Output
Data folder
DB folder
$HOME/synchro_data/data
Use new DRS format
$HOME/synchro_data/db
Sqlite database with transfer information (status, duration,
priority..)
Log folder
« get_data.log » and « synchro_data_transfert.log » for transfer
related messages
One log file per model for discovery related messages
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
79
Aggregation node
CMIP5 subset aggregated files
IPSL – GIS Climat - IS-ENES
A.Bhardwaj, S.Denvil
Contact
Abhipsl (AT) ipsl.jussieu.fr
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
80
Thredds
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
81
Dataset
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
82
Real file
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
83
Virtual File
Aggregation
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
84
All in one
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
85
Aggrégation temporelle : préparatif sur CICLAD
#-----------------------------------------------------# NETCDF4
#-----------------------------------------------------export PATH=/opt/netcdf4/gfortran/bin:${PATH}
export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH}
export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include
export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib
#-----------------------------------------------------# CDO with opendap
#-----------------------------------------------------export PATH=/home/laliberte/local/cdo/bin:${PATH}
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
86
Moyenne d'ensemble:
#!/bin/ksh
#set -vx
experiment=historical
which cdo
set -A liste_file
for EnsembleMember in 1 2 3 4 5 6 7 8 9 10 ; do
# test d'existence de l'aggregation
wget --spider http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.CNRM-CERFACS.CNRMCM5.${experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation.html > /dev/null 2>&1
rc=$?
if [ ${rc} -eq 0 ] ; then
# aggregation présente
echo success
liste_file[${#liste_file[*]}]=http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.CNRM-CERFACS.CNRMCM5.${experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation
else
# aggregation absente
echo failure
fi
done
echo cdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nc
cdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nc
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
87
Variante autour de l'aggrégation
Moyenne saisonnière
cdo seasmean http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.MOHC.HadGEM2ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation
result.nc
Moyenne mensuelle climatologique
cdo ymonmean http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.MOHC.HadGEM2ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation
result.nc
Moyenne annuelle
cdo yearmean http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.MOHC.HadGEM2ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation result.nc
Regrillage en pré calculant le fichier de poids :
cdo setgrid,IPSL.ORCA2_gridCF.nc http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.IPSL.IPSL-CM5ALR.historical.mon.ocean.Omon.r1i1p1.tos.1.aggregation inter.nc
cdo genbic,r360x180 inter.nc remapweight.nc
cdo remap, remapweight.nc inter.nc sst_regular.nc
Et plus:
cdo -h # https://code.zmaw.de/files/cdo/html/1.5.2/cdo.pdf
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
88
Perspectives CMIP à 10 ans
Year
Power factor
Npp
Resolution [km]
Number of mesh points [millions]
Ensemble size
Number of variables
Interval of 3-dimensional output (hours)
Years simulated
Storage density
Distributed Archive Size (Pb)
CMIP5
2012
1
200
100
3,2
120
800
6
90000
0,00002
3,19
CMIP6
2017
30
357
56
18,1
214
1068
4
120170
0,00002
86,05
Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP7
2022
1000
647
31
108,4
388
1439
3
161898
0,00002
2260,20
89