Transcript Slide 1

IBM Systems and Technology Group
IBM en Deep Computing/HPC
Sevilla octubre 2011
Mariano Garrido
CTA
IBM STG
IBM Innovation & Infrastructure | Deep Computing
© 2010 IBM Corporation
IBM Deep Computing
Agenda





Qué es DC/HPC?
Factores claves para abordar un proyecto
Soluciones IBM
Consideraciones de explotación
Alternativas
–
System P
–
Linux clusters
–
Bluegene
 iDataPlex
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
Entender las cargas de trabajo que estamos usando es un prerequisito importante
Transaction Processing and
Database
Characteristics vary: Application
Analytics and
High Performance
Usage Pattern
Business Applications
SLA
Workload
Optimization
Data Structure
Web, Collaboration
and Infrastructure
One size DOES NOT fit all
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
Qué es Deep Computing o High Performance Computing
 Realización de miles de billones de cálculos matemáticos en un
corto espacio de tiempo para la resolución de problemas
complejos. Especialmente útil en aquellas problemáticas que
manejan gran volumen de datos o que realizan múltiples iteraciones
con una muestra de datos mas acotada y donde los cálculos
manuales harían inabordable ese determinado problema.
 Medida típica TeraFlop = Millón de millones de operaciones, en
doble precisión (64bit), de coma flotante por segundo (los
sistemas que aparecen en el ranking de TOP500 se miden ya en
miles de TeraFlops. IBM es líder en TOP500 )
–
Kilo < Mega < Giga < Tera < Peta < Exa = 1018
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
Puntos críticos para abordar un proyecto DC/HPC viable
 Necesidades de memoria principal del sistema.
– Un factor limitante puede ser el tamaño de memória máximo que puede emplear un núcleo
Gate
de procesamiento => 32/64GB en los sistemas High End de la serie pSystems y 48GB en los
Drain
Source
sistemas High End eX5 en de IBM (con velocidades de acceso a memoria de 1,6Ghz en los
Leakage
inminentes Sandy Bridge de Intel que mitiga el desfase entre la velocidad de la CPU vs RAM)
 Capacidad individual de los procesadores de los nodos de cálculo.
– Existen aplicaciones que consumen todos los recursos de CPU disponibles, es decir el factor
limitante no es el tamaño o la velocidad de la memoria principal => Para estos casos es vital
el tipo de procesador (conjunto de instrucciones reducido o complejo) RISC/CISC/x86 y su
velocidad de reloj. Actualmente alrededor de 2-3Ghz.
– Se ha llegado a una frontera física en el diseño de microprocesadores de velocidad cada vez
mayor. Se producen efectos físicos (corriente de perdida en las puertas de los transistores)
que impiden aumentar la frecuencia de operación de los chips =>
– Intel/AMD han optado por incluir varios núcleos en un mismo chip reduciendo la velocidad
de estos núcleos. Opción divide y vencerás. IBM dispone de tecnología Multicore en su
gama POWER desde 2001 (9 núcleos en PowerXcell8i 2007, 8 core en POWER 7 2010)
– Asimismo IBM invierte en investigación de tecnología de fabricación de
microprocesadores para mitigar estos efectos (High-K metal) y poder
proporcionar CPUs a >4Ghz desde 1H07.
– Introducción de las nuevas GPUs (coprocesadores matemáticos)
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
Un proyecto DC/HPC viable (cont.)
 Escalabilidad de las aplicaciones y capacidad de crecimiento de las redes
de interconexión en sistemas cluster.
– El concepto de escalabilidad implica:
– A) que la aplicación es capaz de repartir carga entre varios nodos y
– B) que a mayor número de nodos mayor rendimiento bien en tiempo de respuesta o en
capacidad de resolución de problemas mas complejos.(Evitar efecto saturación)
– Pueden existir aplicaciones muy sensibles a parámetros de esta red (latencia, ancho de banda)
=>
– Las redes de interconexión para estos sistemas son equipamiento de extremada
especialización.
– Estas redes deben permitir un crecimiento, sin detrimento del rendimiento, hasta varios miles
de nodos. IBM dispone de tecnología aplicada en su producto Bluegene/P que permite crear
un sistema de hasta 131.072 procesadores.
 Los requerimientos físicos de espacio, alimentación y refrigeración deben
ser asumibles
– Ej: construcción de un sistema de 360 TFlps
–
–
–
Espacio
– BG/L ~100 m2
– Linux Cluster ~1000 m2 (extrapolación)
Consumo
– BG/L ~1.5 MW
– Linux Cluster ~15 MW (extrapolación)
Implicación en costes:
– 1 MW/yr = $1M
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
La oferta de IBM
Dado que el tipo de problemática/aplicación condiciona el tipo de
arquitectura adecuada, IBM dispone de una oferta completa:
 Sistemas SMP de memoria compartida. System p
– Grandes sistemas de hasta 32, 64 procesadores con una única
imagen de sistema operativo y un vólumen de memoria de hasta
4TB
 Cluster de sistemas de memoria distribuida. Cluster 1350
iDataPleX y cluster 1600
– Máquinas lógicas de miles de procesadores en base a la
interconexión física, mediante redes especializadas, de sistemas
“modestos” de 2, 4, 8,16 y hasta 32 procesadores con memoria por
nodo de hasta 256GB.
– Procesadores “comodity”: IBM POWER, Cell, Intel Xeon o AMD
Opteron.
 Sistemas de propósito específico. BlueGene
– Agregación de hasta 131.072 procesadores mediante tecnología
propietaria y encaminados a la resolución de determinados tipos de
problemas. Procesadores modestos: PowerPC450.
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
Memoria compartida (= BIG SMP) vs Memoria distribuida (=clusters)
vs Bluegene (MPP Massive Paralel Processing) para sistemas de
High Performance Computing
Memoria Distribuida
Memoria compartida






Modelo de administración y
programación más sencillo
(una única imagen de
sistema)
Escalabilidad limitada (el
sistema SMP/NUMA
construible tiene límites)
Típicamente bloques
constructivos más caros y
menos granulares
Tienden a ser sistemas de
infraestructura propietaria
Dificultad/costoso de
expandir
Focalizados en rendimineto
de pico (problemas con más
variables de entrada o
tiempos de respuesta
menores)






Modelo de administración
y programación mas
Complejo (Imagen de
sistema única “virtual“)
Escalabilidad excelente
(limitada sólo por MTBFs,
puertos de switch, espacio
físico, consumo …)
Típicamente bloques
constructivos más baratos
y granulares
Tienden a ser
arquitecturas basadas en
estandares abiertos
Permiten un crecimiento
simple y orgánico
Focalizados en
rendimiento agregado
sostenido
Deep Computing | IBM Innovation & Infrastructure
Massive Parallel Processing







Modelo de administración y
programación mas Complejo
(Imagen de sistema única
“virtual“)
Escalabilidad excelente
(limitada sólo por MTBFs, …)
Excelente ratio
rendimiento/consumo
Excelente ratio
rendimiento/espacio
El punto de entrada de un
sistema BG/L es de 1024
CPUs.
Arquitectura con el
crecimiento máximo posible
(65536 CPUs)
Enfocado a aplicaciones que
puedan escalar sin
restricciones con el número de
CPUs
© 2010 IBM Corporation
IBM Deep Computing
Infraestructura y consideraciones de explotación
Control de utilización de recursos ( Accounting/ Billing)
Aplicaciones
Licencias de aplicaciones comerciales
Acceso de administración al sistema
Administración y reparto de trabajos/ tareas y control de utilización de recursos (acounting)
Servicios
Administración y mantenimiento del sistema (reparación de componentes HW/SW)
Instalación física y lógica del sistema (HW/SW)
Librerías de comunicaciones (MPI) para coordinación de procesos en un entorno distribuido.
Herramientas de compilación (optimización de código para HW subyacente) + Librerías matemáticas paralelas
Sistema de respaldo, backup de datos
Software
Middleware
Sistema especializado de almacenamiento: General Parallel File System (GPFS) para proporcionar rendimiento, alta disponibilidad y
escalabilidad
Sistema de reparto de cargas/gestión de colas de trabajos (Loadleveler, Platform LSF, PBS Pro, Torque, MAUI…)
Sistema de gestión y control, despliegue de imágenes de sistema en los nodos (CSM, xCAT, DIM,…)
Licencias de sistema operativo: Linux, UNIX o Windows
Nodos y dispositivos de almacenamiento
Nodos de cálculo (núcleo del sistema)
Nodo/s de control, entrada/salida del sistema, reparto de carga,
Hardware
Redes de interconexión (especializada) y gestión (commodity)
Ubicación= Sala (m 2) consideraciones de seguridad
Data Center:
Alimentación del sistema y del equipo de refrigeración (Mwatt)
Site + cooling
Equipo de refrigeración: Maquinária interna a la sala y dispositivos externos (Frigorias)
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
iDataPlex – Solución pre-integrada
o…
¿Montarlo uno mismo?
Solución pre-integrada
• Servidores, switches, PDU’s, cableado
• Listo para colocarlo en su sitio, enchufar
corriente, conectarlo a la red y empezar a
trabajar.
© 2010 IBM Corporation
IBM Deep Computing
IBM supercomputing leadership
June 2011 TOP500 Entries
IBM leads, followed by HP
Other; 60
Dell; 12
IBM;
212
Oracle; 12
Cray; 29
Semiannual independent
ranking of the top 500
supercomputers in the world
SGI; 19
June 2011 Aggregate Performance
IBM leads with 15.29 of 58.93 PF
HP; 156
Bull
3,6%
IBM supercomputing leadership ...
Other
21,7%
IBM
25,95%
 Most installed aggregate throughput with over 15,294 out of 58,930 Teraflops (25.9%)
(CRAY: 9,081 / 15.4%, HP: 9,975 / 16.9%)
Leader for 24 Lists in a row
 Most systems in TOP500 with 212
NUDT
4,4%
(HP: 156, Cray: 29, SGI: 19)
 Most energy-efficient system
(Blue Gene/Q Prototype2: 2097 MF/w)
 6 of 10 most energy-efficient systems
Dawning
2,5%
Dell
Oracle
2,0%
3,0%
Cray
15,4%
SGI
4,6%
HP
16,9%
Source: www.top500.org
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
IBM Deep Computing
iDataPlex
12
Deep Computing | IBM Innovation & Infrastructure
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
iDataPlex (Internet + Data Center + Large Scale)
 Rack 100U 84U para Nodos x86 y 16U verticales para switches y PDUs
 Optimizado con servidores la mitad de profundos que los estándares y con unos componentes
diseñados para obtener máxima eficiencia de la energía y refrigeración
 Diseñado para maximizar uso del espacio y la infraestructura de alimentación y refrigeración del
centro processo de datos con unos servidores con componentes estándares de la industria.
 Solución fácil de mantener con servidores accesibles de forma individual por la parte frontal.
 Configurable par necesidades de cada cliente cálculo, almacenamiento o I/O y entregable preconfigurado fpara rápido despliegue
Flujo Aire
640mm
Flujo Aire
(720mm
w/RDHx)
600mm
446 x 400mm
1200mm
446 x 400mm
444 x 750mm
1050mm
Flujo Aire
RDHX
Rack Estándar 19”
Vista
Superior
Vista
Superior
Rack iDataPlex
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
System x iDataPlex dx360 M3
iDataPlex flexibilidad con mayor
rendimiento, eficiencia y más opciones
Cálculo intensivo
Máxima Capacidad Proceso
2U, 2 Nodos Cálculo
1U Nodo Cálculo
Cálculo + Almacenamiento
Balance Alamacenamiento y Proceso
2U, 1 Nodo Cálculo & Bandeja Discos
HDD: hasta 5 (3.5”)
1U Bandeja Discos
Cálculo + I/O
Máxima Flexibilidad Componentes
2U, 1 Nodo Cálculo
I/O: hasta 2 PCIe, HDD hasta 8 (2.5”)
1U Bandeja Dual GPU I/O
3U Chasis Almacenamiento
Máxima Densidad Almacenamiento
3U, 1 Nodo Cálculo & Bandeja Discos
HDD: 12 (3.5”) hasta 24TB
I/O: PCIe para red + PCIe para RAID
900W
550W
Fuente
Fuente
Alimentación Alimentación
750W N+N
Fuente
Alimentación
Redundante
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
iDataPlex (Rear Door Heat Exchanger, RDHX)
 Aumenta la densidad en el centro proceso de
datos eliminando pasillos fríos/calientes
 Elimina calor generado por el rack
 Mismas dimensiones que la puerta trasera del
rack iDataPlex y 4” ancho
 Refrigeración mediante líquido en un rack es
75%-95% más eficiente que la refrigeración por
aire
 No hay elementos móviles o eléctricos
 No hay condensación
 Agua helada
Proporciona hasta 115% extracción
de calor y puede incluso refrigerar
centro proceso datos!
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
Aumento densidad y reducción costes de energía
>44 TeraFlops
44 TeraFlops
336 servidores dx360 M3 (Procesador Xeon 5600)
4 Racks, 16 Switches InfiniBand
42 servidores dx360 M3
 Reducción ocupación 4:1
(Procesador Xeon 5600)
 Reducción costes de energía y refrigeración > 65%
1 Rack, 2 Switches InfiniBand
 Casi 4x más rendimiento por
rack(1)
(1)
84 NVIDIA Tesla GPU’s
Based on 2.93GHz Intel with NVidia performance data, 2010
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
IBM System x iDataPlex – La Revolución x86 en Eficiencia
Go Beyond your limits - 5x Compute density

Scale compute capacity to match accelerated growth

Increase 15% more servers, with 58% less Computer Room Air Conditioning IBM Lab Services

Provide 50%+ more density to customers running out of data center space and budgets

Increase computing demand within same space constraints
Go Green – 40% Better Energy Efficiency

Improve airflow efficiency with shorter depth servers

Lower energy consumption by 40% with shared power & cooling

Remove 100% server heat exhaust and even cool the room with a Rear Door Heat eXchanger

Reduce the need for air conditioning

Cool 70% more efficiently with rack liquid cooling than air cooling
Go Faster – Fully Integrated for quick deployment

Deploy and operate quickly with customized fully configured rack solutions

Save time by managing at the rack level

Modular, tool-less design and front access provide simple serviceability

Simplified building blocks for flexible customized configurations
Go for lower TCO – Lower Capital and Operation Costs

Reduces costs of unnecessary redundant hardware for running parallel applications

Save up to $1.2M/year on datacenter power, cooling and management costs

Increase speed and accuracy without increasing power costs

You can relax! IBM helps with the planning and implementation of iDataPlex with STG Lab Services
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
43 iDataPlex en TOP500 del 2010
Noviembre 2010 http://www.top500.org/lists/2010/11
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
GRACIAS
© 2010 IBM Corporation