Transcript Computación Distribuida - GISELA Documents

CISCO Academy Conference 2011 (http://academy.aid-web.net)
(9/6/2011)
&
Seminario e-Investigación en Ciencias Sociales y Humanas
(10/6/2011)
Grid
Herbert Hoeger
Centro de Cálculo Científico y Centro de
Simulación y Modelos, Universidad de Los Andes
Proyecto GISELA
1
Contenido
•Computación distribuida
•Sistemas Operativos Distribuidos
•Grid
•Clusters vs Grid
•Cloud vs Grid
•Necesidad de Grid: Large Hadron Collider – CERN
•Proyectos
•EELA (Ene 2006 – Dic 2007)
•EELA-2 (Abr 2008 – Mar 2010)
•GISELA (Sep 2010 – Ago 2012)
2
Conceptos Preliminares
Computación Distribuida: Es la utilización de múltiples
sistemas, de alguna forma organizada, para trabajar en un
objetivo común.
3
Conceptos Preliminares
Computación Distribuida
•Requiere software para la coordinación de recursos y
tareas.
•Computación paralela / HPC es computación distribuida.
•Computación Grid es computación distribuida.
4
Conceptos Preliminares
Sistemas Operativos Distribuidos – Características
Transparencia: Provee la visión de una sola máquina
(máquina virtual)
•Acceso: a recursos remotos igual que a locales.
•Ubicación:
•Independencia de nombre – ubicación.
•Independencia de máquina – recurso.
•Replicación: Las replicaciones mejoran el rendimiento y
la disponibilidad – el uso, nombre y control de replicas
debe ser transparente.
5
Conceptos Preliminares
•Migración: por rendimiento, seguridad y disponibilidad, los
objetos (procesos y/o datos) pueden migrar.
•Concurrencia: cada usuario tiene la impresión de ser el
único usuario – así existan muchos.
•Escalabilidad: el sistema puede “crecer” sin afectar las
actividades de los usuarios.
•Heterogeneidad: Soportar diferentes tipos de hardware y
software.
•Seguridad: Protección contra destrucción y usos no
autorizados.
6
Conceptos Preliminares
•Disponibilidad: debe operar todo el tiempo aún bajo fallas
(quizás con cierta degradación).
•Evitar fallas: usar componentes de calidad.
•Tolerar fallas: redundancia de componentes
•Detectar y recuperar fallas: usar hardware y software para
descubrir y reparar fallas.
•Flexibilidad: Facilidad para reemplazar, modificar o
agregar componentes.
•Rendimiento: Las aplicaciones deben correr mejor (o al
menos igual) que en monoprocesadores.
7
Computación Grid
•Los objetivos generales son los mismos que vimos para
sistemas operativos distribuidos pero a un nivel superior.
•Debe operar con distintos sistemas operativos.
Aplicaciones
Grid Middleware
Recursos
ABC
Linux A
Windows
Linux B
Solaris
XYZ
Mac OS
…
Discos
8
Computación Grid
Computación Grid es computación distribuida llevada a un
nivel multi-organizacional / multi-sistemas.
Organización
Dpto.
Organización
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
Son muchos sistemas locales, manejados por
Organización
personas/organizaciones
distintas, cooperando.
Organización
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
9
Computación Grid
• Hoy en día tenemos:
– Conectividad global a través de Internet.
– Disponibilidad y confiabilidad en el ancho
de banda.
– La velocidad de las redes se duplica cada 9
meses.
10
Computación Grid
Usar Internet como una
plataforma de servicios de
computación y no solo
como una fuente de
información.
11
Computación Grid
Características
• Autentificación
• Manejo de Recursos
• Políticas de Autorización
• Balanceo de cargas
Aplicaciones
• Descubrimiento de
• Manejo de Fallas
recursos
• Monitoreo
• Ubicación de recursos
• Garantizar el rendimiento
Grid Middleware
• Acceso a data remota
• Detección de intrusos
• Alta velocidad de
• Escalabilidad, etc
transferencia de data
Recursos
12
Cluster vs. Grid
CLUSTER
• Equipos homogéneos.
• Sistema operativo único.
• Administración y manejo
centralizado - única.
• Equipos están concentrados.
• Objetivo: mejorar el
rendimiento dedicando más
recursos.
GRID
• Equipos heterogéneos.
• Múltiples sistemas operativos.
• Administración y manejo
descentralizado – multidominio
• Equipos están dispersos.
• Objetivo: mejorar el rendimiento
compartiendo recursos subutilizados en otras partes.
13
Cluster
14
Grid
15
Cloud vs. Grid
CLOUD
•
•
•
•
Foco: Comercial – Servicio.
Muchos basados en grids.
Fáciles de usar.
Compartir no es objetivo.
No colaborativo.
• Los usuarios no posen la
infraestructura: no inviertas
en recursos, alquílalos.
GRID
• Foco: HPC.
• Más complicados de usar.
• Compartir recursos, datos,
conocimiento y trabajo (a través
de VO - Virtual Organizations).
• Los usuarios aportan a la
infraestructura: comparte/aporta
recursos y podrás tener muchos
más de lo que podrías adquirir
por tu cuenta
16
Analogía
• Grid (en inglés) ~ red eléctrica.
• Grid de Computo ~ red de recursos y servicios
de computación.
17
EL CERN (Centro Europeo de Investigaciones Nucleares)
• Esta a la vanguardia en tecnología de redes.
• Su lema: “where the web was born”
• Lidera algunos de los proyectos en Grid más
ambiciosos del mundo.
18
CERN - LHC: Large Hadron Collider
27 Km
19
CERN: Large Hadron Collider
• Instrumento científico más grande del mundo.
• Los datos son una mina de oro para físicos
alrededor del mundo.
• Descubrir partículas fundamentales de la
materia.
20
CERN
• Unos 10 Petabyte/año.
•
•
•
•
Kilobyte KB 103 (o 210)
Megabyte MB 106 (o 220)
Gigabyte GB 109 (o 230)
Terabyte TB 1012 (o 240)
• Petabyte PB 1015 (o 250)
• Exabyte EB 1018 (o 260)
• Zettabyte ZB 1021 (o 270)
• Yottabyte YB 1024 (o 280)
21
CERN
•
•
•
•
1 CD → 700 MB
10 PB → 14.285.714 CDs
7 CDs → 1 cm
10 PB → 20,4 Kms de CDs
– 1 DVD → 6,7 CDs
– 3 Kms de DVDs
Suponiendo los CDs o DVDs llenos!
22
CERN
23
CERN
• La solución posible para manejar/procesar esta
enorme cantidad de información parece ser la
computación Grid.
• Comentario de William Gropp: Con la
computación Grid hay un fenómeno particular,
la necesidad surgió antes que la tecnología.
24
CERN
• El problema no es solo el manejo de datos.
• Son necesarios unos 100.000 PCs actuales para
analizar estos datos.
• Al pasar los años, la data se acumula!
25
LHC Computing Grid
26
EELA
E-Infrastructure shared between Europe and
Latin America
•
•
•
•
•
•
Ene 2006 – Dic 2007
Inicios
Plataforma de prueba
Red de personas
Educación
Entrenamiento
27
EELA-2
E-science grid facility for Europe and Latin
America
•
•
•
•
•
Abr 2008 – Mar 2010
Plataforma de calidad de producción
Red de personas
Educación
Entrenamiento
28
GISELA
Grid Initiatives for e-Science virtual
communities in Europe and Latin America
•
•
•
•
•
Sep 2010 – Ago 2012
Soporte a comunidades virtuales
Educación
Entrenamiento
Transferencia a CLARA
29
GISELA
15 Países (11 en América Latina)
19 Miembros (14 en América Latina)
12 Terceros (11 en América Latina)
UNIANDES
• UIS
• PUJ
UNAM
• CICESE
• ITV
• ITESM
• IPN-CIC
• UAEM
• UNISON
REUNA
• UFRO
• UTFSM
UFRJ
• CEFET-RJ
30
GISELA: http://www.gisela-grid.eu/
Pagina
principal
31
GISELA: http://indico.gisela-grid.eu/
Servidor de
eventos
32
GISELA: http://documents.gisela-grid.eu/
Servidor de
documentos
33
GISELA: http://applications.gisela-grid.eu/
Aplicaciones
~70
34
Finalmente…
• Que los recursos estén disponibles en cualquier
lugar, en cualquier momento, en forma confiable
y segura, que la ubicación de los procesos y
datos sea transparente al usuario, y que el Grid
sea fácil de usar, son metas en las que aún se
trabaja arduamente.
• La implementación, operación y mantenimiento
de un Grid no es fácil, pero el software esta
madurando rápidamente.
35