Transcript Aucun titre de diapositive - Bienvenido a Instituto de

Uso del GRID en generación masiva de Datos:
Sistema de producción del
Experimento ATLAS
Santiago González de la Hoz
[email protected]
CERN
(European Organization for Nuclear Research)
Sistema de producción del experimento ATLAS
 Introducción
 Objetivo de esta charla
 Experimento ATLAS
 Programa “Data Challenges (DC)”
 Sistema de Producción de ATLAS
 Base de datos de producción
 Supervisor: Windmill
 Ejecutores: Lexor, Capone y Dulcinea
 Data Management: Don Quijote
 Fases de producción de los DC2
 Los 3 “sabores” Grid (LCG, GRID3 y NorduGrid)
 Producción de ATLAS en los DC2
 Análisis de datos utilizando el sistema de producción
 Conclusiones
Santiago González de la Hoz
2/34
Sistema de producción del experimento ATLAS
Introducción
Objetivo de esta charla
Experimento ATLAS
Programa “Data Challenges (DC)”
Santiago González de la Hoz
3/34
Sistema de producción del experimento ATLAS
 Objetivo de esta charla/curso
 Problema “real” con el que se encuentra un experimento, en este caso
ATLAS.
 Posible solución a dicho problema, el GRID
 Uso del Grid para la resolución de dicho problema
 Experimento ATLAS
 Uno de los 4 experimentos que se están construyendo en el CERN
 Dos de carácter general (ATLAS y CMS)
 Uno para la física del b (LHCb)
 Uno para el estudio de iones pesados (ALICE)
 Se colocará en el túnel del futuro colisionador de hadrones LHC
 Colisionador protón-protón
 Energía en centro de Masas de 14 TeV
 Alta luminosidad (1034 cm-2 s-1)
Santiago González de la Hoz
4/34
Sistema de producción del experimento ATLAS
Mont Blanc, 4810 m
Geneva
Santiago González de la Hoz
5/34
Sistema de producción del experimento ATLAS
Santiago González de la Hoz
6/34
Sistema de producción del experimento ATLAS
 Toma de datos empieza en 2007
 Level 3 Trigger: 100 sucesos/s,
siendo el tamaño de ≈ 1
MB/suceso
 Volumen de datos ≈ 1 PB/año
durante 10 años
 CPU estimada para procesar datos
en el LHC: 200.000 PCs actuales
 Esto genera 3 problemas:
 Almacenamiento de datos
 Procesado
 Usuarios dispersos por todo el
mundo
Posible solución
TECNOLOGÍAS GRID
Santiago González de la Hoz
7/34
Sistema de producción del experimento ATLAS
 Programa Data Challenges (DC)
 La colaboración ATLAS en el año 2002 diseño el programa “Data Challenges
(DC)” con el objetivo de validar su:
 Modelo de Computación
 Software
 Modelo de datos
 Empezar a usar y probar las tecnologías GRID
 Con los DC1 se consiguió (no se utilizó el GRID):
 Desarrollar y desplegar el software necesario para la producción de sucesos a gran
escala.
 Participaron en la producción institutos de todo el mundo.
 Con los DC2 se ha conseguido producir sucesos a gran escala
utilizando el middleware GRID desarrollado en tres proyectos
(sabores de Grid) :
 LHC Computing Grid project (LCG), en el cual participa el CERN y el IFIC
 GRID3
 NorduGRID
Santiago González de la Hoz
8/34
Sistema de producción del experimento ATLAS
Sistema de producción de ATLAS
(ver charla Julio Lozano)
Base de datos de producción
Supervisor: Windmill
Ejecutores: Lexor, Capone y Dulcinea
Data Management: Don Quijote
Santiago González de la Hoz
9/34
Sistema de producción del experimento ATLAS






Atlas diseño un sistema de
producción automático para poder
llevar a cabo su producción masiva
de datos en los DC2.
El sistema de producción de ATLAS
consiste en 4 componentes:
La base de datos de producción, la
cual contiene la definición de los
trabajos.
El supervisor “windmill”, el cual
consulta la base de datos para
obtener la definición de los trabajos
y se los pasa a los ejecutores de
cada Grid en formato XML.
Los ejecutores, hay uno por cada
sabor Grid. Ellos reciben la
definición del trabajo en formato
XML y la convierten en el “job
description language (JDL)” de cada
“sabor” Grid.
Don Quijote, Atlas Data
Management system, el cual se
encarga de:
 Transferir ficheros desde su
localización temporal hasta su destino
final en un Storage Element (SE)
 Registrar los en el catálogo
correspondiente a cada Grid (replica
location service).
Santiago González de la Hoz
10/34
Sistema de producción del experimento ATLAS
 Definición de trabajos en la
base de datos
 Prodcom: Es una herramienta
interactiva gráfica que nos permite
fácilmente definir una gran cantidad
de trabajos en la base de datos
 Esta hecho en Java y se puede correr
como un applet
 En la definición del trabajo
elegimos:
 Nuestra transformación*
 Los ficheros de entrada (ponemos su
LFN, logical file name)
 Los ficheros de salida (LFN)
 Donde queremos que se guarden los
ficheros de salida (SE)
*Transformación: Es un shell script que espera una
serie de parámetros de entrada y ejecuta
“athena.py”, otro “programa” para la generación,
simulación, etc.. de sucesos en ATLAS.
Santiago González de la Hoz
11/34
Sistema de producción del experimento ATLAS
 Definición de
trabajos en la
base de datos
 Los trabajos se
crean en la base de
datos y se les
asigna
automáticamente
un ID
 También se
monitoriza su
estado.
Santiago González de la Hoz
12/34
Sistema de producción del experimento ATLAS
 Declaración de
una
transformación
en la base de
datos:
 phpORADmin:
interfaz web de
ATLAS con la
base de datos.
 La
transformación se
declara
 Se definen los
parámetros de
entrada que
necesita dicha
transformación
Santiago González de la Hoz
13/34
Sistema de producción del experimento ATLAS
 Supervisor: Windmill
 Es una implementación
del software
“supervisor” para la
gestión de la
producción de ATLAS.
 Consulta la base de
datos para obtener la
definición de los
trabajos.
 Interacciona con varios
“ejecutores” para la
distribucción, ejecución
y monitorización de los
trabajos en los
diferentes Grids (a
través de XML,
utilizando un jabber
server, )
 Configuración: Windmill
 Se configura modificando el fichero windmill.xml
 Jobselection:
<grid>LCGANALYSIS</grid>. Para coger los
trabajos en la base de datos con inputhint
LCGANALYSIS
Database:
<oraconnection>atlas_prodsys_dev/prodsys@devd
b</oraconnection>. Elegimos la base de datos
Santiago González de la Hoz
14/34
Sistema de producción del experimento ATLAS
 Ejecutores: Lexor,
Dulcina y Capone
 Por diseño son una
interfaz entre el
supervisor (que es
único) y los tres
“sabores” Grid.
 La información que
reciben del supervisor
en XML, la convierten
en el JDL (Job
Description Language)
de que “sabor” Grid
 Envían los trabajos a
los correspondientes
Computing Elements
asociados con dicho
sabor de Grid.
 Configuración: Lexor (LCG)
 Se configura modificando el fichero lexor.cfg
 Elección de Resource Broker y BDII
 Puedes habilitar o deshabilitar centros
 El fichero lexor_wrap.sh:
 Baja, instala y ejecuta la transformación
 Hace el “stage in” de los ficheros necesarios de entrada
(utilizando Don Quijote, DQ)
 Hace el “stage out” de los ficheros de salida (DQ)
Santiago González de la Hoz
15/34
Sistema de producción del experimento ATLAS
 Data Management
System: Don Quijote
(DQ)
 El objetivo de DQ es integrar
todos los servicios de gestión de
datos (data managment)
usados por los tres Grids y por
lo tanto por el Experimento
ATLAS.
 De esta forma los datos se
pueden replicar y registrar de
forma transparente entre los
diferentes catálogos de los tres
“sabores” grids.
 Realmente hay tres servidores
DQ, uno para cada Grid, pero
para el usuario final, esto es
totalmente transparente. Como
si solo hubiera uno
 Utilización Don Quijote:
 Corres el script eligiendo el tipo de Grid y el
LFN para dicho fichero:
 dms2.py –g lcg get
rome.004100.recov10.T1_McAtNLO_top._0021
1.AOD.pool.root
Santiago González de la Hoz
16/34
Sistema de producción del experimento ATLAS
Fase de producción de los DC2
Los 3 “sabores” Grid (LCG, GRID3
y NorduGrid)
Producción de ATLAS en los DC2
Santiago González de la Hoz
17/34
Sistema de producción del experimento ATLAS
Pythia
Fases de producción de los DC2
Events
HepMC
Geant4
Events
HepMC
Events
HepMC
Bytestream
Raw
Digits
Hits
MCTruth
Digitization
Geant4
Hits
MCTruth
Digitization
Digits
(RDO)
MCTruth
Geant4
Hits
MCTruth
Pile-up
Digits
(RDO)
MCTruth
Bytestream
Raw
Digits
Mixing
Digits
(RDO)
MCTruth
Events
HepMC
Reconstruction
Hits
MCTruth
Pile-up
Digits
(RDO)
MCTruth
ESD
Bytestream
Raw
Digits
Bytestream
Raw
Digits
Reconstruction
Event
generation
Physics
events
20 TB
Detector
Simulation
Min. bias
Events
30 TB
Digitization
(Pile-up)
Piled-up
events
Mixed events
ESD
Bytestream
Raw
Digits
20 TB
~5 TB
ESD
Bytestream
Raw
Digits
Mixing
Geant4
Reconstruction
Byte stream
Mixed events
With
Pile-up
Santiago
Event
Mixing
Volume of data
for 107 eventsde
González
5 TB
Reconstruction
Persistency:
TB Athena-POOL
la Hoz
18/34
Sistema de producción del experimento ATLAS
Process
No. of
events
Event/
size
CPU
power
Volume of
data
MB
kSI2k-s
TB
Event generation
107
0.06
156
Simulation
107
1.9
504
30
Pile-up/
Digitization
107
3.3/1.9
~144/16
~35
Event mixing &
Byte-stream
107
2.0
~5.4
~20
 Los DC2 de ATLAS empezaron la fase de simulación en Julio 2004 y acabó
en Septiembre del mismo año.
 Se generaron 10 millones de sucesos distribuidos en 100000 trabajos
 La digitalización y el Pile-up acabaron en Diciembre 2004 y corrió sobre una
muestra de 2 millones
 Se utilizaron las tecnologías Grid (3 proyectos)!!!!!
Santiago González de la Hoz
19/34
Sistema de producción del experimento ATLAS
Los tres “sabores” Grid
 LCG (http://lcg.web.cern.ch/LCG/)
 The job of the LHC Computing Grid Project – LCG – is to prepare the computing
infrastructure for the simulation, processing and analysis of LHC data for all four of the LHC
collaborations. This includes both the common infrastructure of libraries, tools and
frameworks required to support the physics application software, and the development and
deployment of the computing services needed to store and process the data, providing batch
and interactive facilities for the worldwide community of physicists involved in LHC.
 NorduGrid (http://www.nordugrid.org/)
 The aim of the NorduGrid collaboration is to deliver a robust, scalable, portable and fully
featured solution for a global computational and data Grid system. NorduGrid develops and
deploys a set of tools and services – the so-called ARC middleware, which is a free software.
 Grid3 (http://www.ivdgl.org/grid2003/)
 The Grid3 collaboration has deployed an international Data Grid with dozens of sites and
thousands of processors. The facility is operated jointly by the U.S. Grid projects iVDGL,
GriPhyN and PPDG, and the U.S. participants in the LHC experiments ATLAS and CMS.
Los tres proyectos utilizan Globus. Solamente existen
pequeñas diferencias en el middleware
Santiago González de la Hoz
20/34
Sistema de producción del experimento ATLAS
NORDUGRID



ARC is based on Globus
Toolkit with core services
replaced
– Currently uses Globus Toolkit
2
Alternative/extended Grid
services:
– Grid Manager that
• Checks user credentials
and authorization
• Handles jobs locally on
clusters (interfaces to
LRMS)
• Does stage-in and stageout of files
– Lightweight User Interface
with built-in resource broker
– Information System based on
MDS with a NorduGrid
schema
– xRSL job description
language (extended Globus
RSL)
– Grid Monitor
Simple, stable and noninvasive
LCG

LCG-2 core packages:
– VDT (Globus2, condor)
– EDG WP1 (Resource Broker,
job submission tools)
– EDG WP2 (Replica
Management tools) + lcg tools
• One central RMC and
LRC for each VO,
located at CERN,
ORACLE backend
– Several bits from other WPs
(Config objects, InfoProviders,
Packaging…)
– GLUE 1.1 (Information
schema) + few essential LCG
extensions
– MDS based Information
System with significant LCG
enhancements (replacements,
simplified)
– Mechanism for application
(experiment) software
distribution
GRID3



Grid environment built
from core Globus and
Condor middleware, as
delivered through the
Virtual Data Toolkit
(VDT)
– GRAM, GridFTP,
MDS, RLS, VDS
…equipped with VO
and multi-VO security,
monitoring, and
operations services
…allowing federation
with other Grids where
possible, eg. CERN LHC
Computing Grid (LCG)
– USATLAS: GriPhyN
VDS execution on
LCG sites
– USCMS: storage
element
interoperability
(SRM/dCache)
Santiago González de la Hoz
21/34
Sistema de producción del experimento ATLAS
•100 centros, 22 paises (Estos números aumentan
rápidamente)
•6558 TB
•~10000 CPUs (compartidas)
LCG
 Esta infraestructura
lleva trabajando
desde el 2003.
 Los recursos (tanto
de computación
como de
almacenamiento)
están instalados en
RC (Regional
Centers)
conectados por
redes de alta
velocidad.
Santiago González de la Hoz
22/34
Sistema de producción del experimento ATLAS
NorduGrid
 Es una colaboración de
investigación formada
principalmente por los países
nórdicos, aunque hay otros
países.
 Fueron los únicos que
contribuyeron a los DC1
utilizando el Grid.
 Son los únicos que soportan
diferentes distribuciones a
RedHat.
•11 paises, 40+ centros,
~4000 CPUs,
•~30 TB almacenamiento
Santiago González de la Hoz
23/34
Sistema de producción del experimento ATLAS
Sep 04
•30 centros, multi-VO
•Recursos compartidos
•~3000 CPUs
GRID3
 Dicha infraestructura lleva trabajando desde Nov 2003.
 Actualmente corriendo 3 aplicaciones de Física de Altas Energías y 2
de Biología.
 Mas de 100 usuarios corriendo en Grid3.
Santiago González de la Hoz
24/34
40
62
40 3
62
40 6
62
40 9
70
40 2
70
40 5
70
40 8
71
40 1
71
40 4
71
40 7
72
40 0
72
40 3
72
40 6
72
40 9
80
40 1
80
40 4
80
40 7
81
40 0
81
40 3
81
40 6
81
40 9
82
40 2
82
40 5
82
40 8
83
40 1
90
40 3
90
40 6
90
40 9
91
40 2
91
40 5
91
8
Number of jobs
# Validated Jobs
Sistema de producción del experimento ATLAS
 Producción de ATLAS en los DC2
140000
120000
 Simulación G4
100000
total
80000
60000
LCG
NorduGrid
Grid3
Total
40000
20000
0
-20000
Day
Days
Santiago González de la Hoz
25/34
Sistema de producción del experimento ATLAS
 Producción de ATLAS en los DC2
ATLAS DC2 - CPU usage
1 %LCG
2%
0%
1%
1% 4%
11%
1%
29%
1%
1%
21%
0%
0%
41%
LCG
NorduGrid
Grid3
13%
2%
1%
1%
1%
3%
0%
10%
2%
30%
2%
Grid3
4%
0%
1%
2%
0%
3%
1%
13%
13%
4%
6%
4%
1%
1%
6%
10%
BN L _A T L A S
BN L _A T L A S _BA K
BU _A T L A S _T ier2
C alT ec h_P G
FN A L _C M S
I U _A T L A S _T ier2
P D SF
Ric e_G rid3
S M U _P hys ic s _C lus ter
U Buffalo_C C R
U C S anD iego_P G
U C _A T L A S _T ier2
U Florida_P G
U M _A T L A S
U N M _H P C
U T A _dpc c
U WM adis on
2%
2%
2%
12%
4%
0%
5%
17%
8%
NorduGrid
4% 1%
4%
1%
0%
at.uibk
c a.triumf
c a.ualberta
c a.umontreal
c a.utoronto
c h.c ern
c z.golias
c z.s kurut
de.fzk
es .ifae
es .ific
es .uam
fr.in2 p3
it.infn.c naf
it.infn.lnf
it.infn.lnl
it.infn.mi
it.infn.na
it.infn.roma
it.infn.to
nl.nikhef
pl.zeus
tw.s inic a
uk.bham
uk.ic
uk.lanc s
uk.man
uk.ral
uk.s hef
uk.uc l
2%
2%
2%
2%
3%
3%
50%
3%
3%
8%
SWE G RI D
brenta.ijs .s i
benedic t.aau.dk
hypatia.uio.no
farm.hep.lu.s e
fire.ii.uib.no
fe1 0 .dc s c .s du.dk
lxs rv9 .lrz- muenc hen.de
atlas .hpc .unimelb.edu.au
grid.uio.no
lheppc 1 0 .unibe.c h
morpheus .dc gc .dk
genghis .hpc .unimelb.edu.au
c harm.hpc .unimelb.edu.au
ls c f.nbi.dk
atlas .fzk.de
grid.fi.uib.no
12%
Santiago González de la Hoz
26/34
Sistema de producción del experimento ATLAS
Análisis de datos utilizando el
sistema de producción
Santiago González de la Hoz
27/34
Sistema de producción del experimento ATLAS
 Definimos una transformación de Análisis
 Se definen los parámetros:
<infilename> ..... name of input file (full path)“
<histfilename> .... HIST output filename"
<ntuplefilename> .... NTUPLE output filename"
<nevt> ........... number of output events to be processed"
<skip> ........... number of input events to be skipped"
 Implementamos nuestro algoritmo de análisis (Usamos en este caso ttbar)
get_files -jo ttbarExample_jobOptions.py
 Se genera el fichero de configuración para correr Athena
cat >> input.py << EOF
EventSelector.InputCollections=file_list
theApp.EvtMax = $NEVT
theApp.SkipEvents = $SKIP
HistogramPersistencySvc.OutputFile = "$HISTFN";
NTupleSvc.Output = [ "FILE1 DATAFILE='$NTUPFN' OPT='NEW'" ]
EOF
 Corremos Athena con las opciones de nuestro trabajo
time athena.py ttbarExample_jobOptions.py input.py >& logANA
Santiago González de la Hoz
28/34
Sistema de producción del experimento ATLAS
 Declaramos la transformación en la base de datos: usando
phpORAdmin.
 Definimos los trabajos en la base de datos asociados a dicha
transformación: con prodcom
 Instalamos una instancia de Windmill y Lexor configurados
para que ejecuten nuestros trabajos:
 Se instaló en el UI (lcg2ui2.ific.uv.es), y se utilizó el Resource
Broker (lcg2rb2.ific.uv.es) y BDII del IFIC-Valencia.
 Modificamos el wrapper (Lexor_wrapper.sh) de Lexor para
que pudiera coger nuestra transformación:
wget
http://ific.uv.es/~sgonzale/kitvalidation/packages/10.0.0.1/JobTransfor
ms-10-00-00-01.tar.gz
tar xvzf JobTransforms-10-00-00-01.tar.gz
Santiago González de la Hoz
29/34
Sistema de producción del experimento ATLAS
 Se utilizó el siguiente dataset: rome.004100.recov10.T1_McAtNLO_top
 Muestra ttbar
 50 sucesos por fichero, un total de 7000 ficheros
 Se definieron 70 trabajos con 100 ficheros de entrada en la
base de datos utilizando prodcom:
 e.g. Rome.004100.recov10.T1_McAtNLO_top._[00001-00100].AOD.pool.root
 Se enviaron y ejecutaron estos trabajos utilizando nuestra
instancia de Lexor+windmill
 Los trabajos corrieron en diferentes institutos LCG (ific.uv.es, gridpp.rl.ac.uk,
farmnet.nikhef.nl, etc..)
 Cada trabajo produjo 3 ficheros de salida, los cuales fueron
almacenados en Castor (IFIC-Valencia, Taiwan, CERN), por
ejemplo:
 rome.analysis.large.23.hist.root
 rome.analysis.large.23.ntup.root
 rome.analysis.large.23.log
 Los 70 histogramas fueron concatenados en uno:
 Utilizamos para ello la macro de root: $ROOTSYS/bin/hadd
 Los histogramas fueron abiertos con RFIO (almacenados en Castor)
Santiago González de la Hoz
30/34
Sistema de producción del experimento ATLAS
 Reconstrucción de la masa invariante del W desintegrándose a jet-jet (W->jj):
 A la izquierda uno de los 70 histogramas producidos a través del sistema de producción de ATLAS a
la Grid
 A la derecha una vez hecho el encadenamiento de los 70 histogramas
 Hemos analizado 350000 sucesos!!!
Santiago González de la Hoz
31/34
Sistema de producción del experimento ATLAS
 El trabajo solo dura 4 minutos en el Worker Node, pero tarda en total 4 Horas:
 Se “pierde” mucho tiempo copiando los ficheros de entrada al Worker Node (la red y las cintas en el
caso de Castor) donde realmente el trabajo corre, copiando los ficheros de salida al Storage Element
seleccionado y enviando el trabajo al Computing Element elegido por el Resource Broker.
 Parece lógico en este caso (Análisis) mandar el trabajo allá donde estén los datos de entrada.
Santiago González de la Hoz
32/34
Sistema de producción del experimento ATLAS
Conclusiones
Santiago González de la Hoz
33/34
Sistema de producción del experimento ATLAS
 ATLAS ha sido el primer experimento LHC que ha utilizado las
tecnologías GRID para llevar a cabo una producción masiva de
datos simulados a la totalidad del ejercicio.
 Se han utilizado 3 “sabores” de GRID.
 La producción ha sido llevada acabo de una forma coherente y automática.
 Los Data Challenges 2 nos han enseñado que todos los
elementos involucrados en el sistema de producción de ATLAS
necesitan mejoras
 En tres meses (Julio a Septiembre 2004), se enviaron mas de 235000
trabajos, se consumió mas de 1.5Millones specint2000/mes de CPU y se
produjeron más de 30 TB de datos.
 El modelo de análisis propuesto por ATLAS se probó con éxito
en el sistema de producción.
 En menos de 4 horas 350000 sucesos fueron “analizados”. Dichos sucesos
estaban almacenados en diferentes lugares por todo el mundo y los trabajos
de análisis se ejecutaron en un gran abanico de centros.
Santiago González de la Hoz
34/34