Transcript Fortschreibung eines nationalen HPC-Konzeptes

Fortschreibung eines nat. HPC-Konzeptes
Die Rollen von PRACE, GCS und Gauß-Allianz
Prof. Dr. Heinz-Gerd Hegering
Vorstandsvorsitzender Gauss Centre for Supercomputing e. V.
Vorstand Gauß-Allianz
19. Mai 2011
Gliederung
•
•
•
•
•
•
Einleitung
HPC-Situation in Deutschland: Rückblick
Gauss Centre for Supercomputing (GCS) e. V.
GCS und PRACE
Gauß-Allianz
Fortschreibung nationales HPC-Konzept
Bedeutung von High Performance Computing (HPC)
Modellierung und Simulation stellen Wettbewerbsfaktor dar
• für die Weiterentwicklung der Wissenschaften
• für die Entwicklung von Produkten und Dienstleistungen
Simulationen ergänzen Theorie und Experiment in Wissenschaft und Technik
• schneller
• billiger
• umweltschonend
• manchmal der einzige Weg
Wissenschaftliches Rechnen und HPC müssen als zusätzliche Methodik
des Erkenntnisgewinns auf der Basis eines nationalen
Versorgungskonzeptes gefördert werden (Sicherung des
Standortvorteils)
Beispiel-Anwendungen
•
•
•
•
•
•
•
•
•
•
Strömungsdynamik: Optimierung von Turbinen, Tragflächenoptimierung,
Lärmreduktion, Klimatisierung in Zügen
Fusionsforschung: Plasma in künftigen Fusionsreaktoren (ITER)
Astrophysik: Entstehung und Entwicklung von Sternen und Galaxien
Festkörperphysik: Supraleitung, Oberflächeneigenschaften
Geophysik: Erdbebenszenarien
Materialwissenschaften: Halbleiter
Chemie: Katalysatorreaktionen
Medizin und Medizintechnik: Blutströmungen, Aneurysmen, Klimatisierung in
Operationssälen
Biowissenschaften: Viruseigenschaften, Genom-Analyse
Klimatologie: Ozeanströmungen
Begriffe
•
Wiss. Rechnen: Entwicklung und Einsatz von math. und statistischen Modellen
und Verfahren unter Nutzung von Rechnern
•
Hoch-/Höchstleistungsrechnen (HPC): falls für wiss. Rechnen Systeme niedriger
Leistungsstufen (in Bezug auf Prozessor-architektur/-leistung, Prozessoranzahl,
Speichergröße/Zugriffs-charakteristik) nicht ausreichen
•
HPC Capacity Computing: Ziel ist Durchsatzmaximierung vieler Programmläufe
mit jeweils beschränkten Ressourcenanforderungen
•
HPC Capability Computing: Durchführung einzelner, sehr umfangreicher
Simulationsprogramme mit Bedarf an sehr hoher Prozessorleistung, hoher
Speicherbandbreite und sehr gutem Internnetz
WR-Aussagen zum HPC in Deutschland
1995
1999
2000
2004
Empfehlung zur Versorgung von W&F mit Höchstleistungsrechenkapazität
Stellungnahme zur Einrichtung von Zentren für Höchstleistungsrechnen
Empfehlung zur zukünftigen Nutzung von Höchstleistungsrechnern
Aussagen:
- Höchstleistungsrechenzentren an der Spitze der
Versorgungspyramide
- Beschaffungsspirale
- Schaffung eines nationalen Koordinierungsausschusses
( 2001- 2007 tätig)
- Forderung nach HPC-Kompetenznetzwerken
- Forderung nach einschlägigen Studiengängen
- Absage an eine nachfrageorientierte Steuerung der HLRNutzung durch Gebühren
- Nutzungszugang aufgrund wissenschaftlicher Beurteilung
Empfehlung zur Einrichtung europäischer Höchstleistungsrechner
- Ziel: Konkurrenzsituation zu USA und Japan verbessern
- Konzepte: Versorgungspyramide und Beschaffungsspirale übernehmen
HPC-Versorgungspyramide
Gauss
Centre for
Supercomputing
(GCS) e. V.
(Garching,
Stuttgart, Jülich)
Europäische Höchstleistungsrechenzentren
(Tier0)
Nationale Höchstleistungsrechenzentren
(Tier1)
Thematische HPC-Zentren,
Zentren mit regionalen Aufgaben (Tier2)
HPC-Server
(Tier3)
3
ca. 10
ca. 100
Aachen, Berlin,
DKRZ, Dresden,
DWD, Karlsruhe,
Hannover,
MPG/RZG, udgl.
Hochschule/
Institut
Auf dem Weg zu einem nationalen HPC-Konzept (1)
Ab 2001
Nationaler Koordinierungsausschuss
August 2005
Studie: Petaflops-Computing mit Standort Deutschland im
europäischen Forschungsraum
(Scientific Case im Auftrag des BMBF)
Mai 2006
Gemeinsame Arbeitsgruppe Bayern/Baden-Württemberg:
„Konzept für Einrichtung und Betrieb eines DeutschEuropäischen Zentrums für Höchstleistungsrechnen“
13. Juli 2006
Pressemitteilung BMBF zum geplanten Verbund der drei
Höchstleistungsrechenzentren
Juni/Sept. 2006
„Reuter-Kommission“: Studie „HPC in Deutschland –
Argumente zur Gründung einer strategischen Allianz“
ab Juli 2006
Arbeiten zur Gründung des Gauss Centre for
Supercomputing (s.u.)
Auf dem Weg zu einem nationalen HPC-Konzept (2)
13.04.2007
Gründung des GCS e. V. mit Sitz in Berlin
16.04.2007
European MoU PRACE und FP7-Proposal
09.11.2007
der „NatKo“ des WR wird ausgesetzt
16.07.2008
MoU zur Gründung der Gauß-Allianz
16.09.2008
Verwaltungsabkommen zu GCS zwischen BMBF, BW, BY,NRW
Nov. 2008
Vorhabensantrag PetaGCS
03.12.2008
Vereinsgründung Gauß-Allianz e. V. mit Sitz Berlin
09.12.2008
Genehmigung Projekt PetaGCS
09.06.2010
Gründung PRACE AISBL
10.02.2011
GCS legt Entwurf zur Fortschreibung d. „Reuter-Papiers“ vor
15.02.2011
Anhörung des Wissenschaftsrates zur Situation des HPC in
Deutschland und zur Wiederbelebung des „NatKo“
Ziele und Aufgaben des GCS
•
Nachhaltige Versorgung der computergestützten Wissenschaften in
Deutschland und Europa mit HPC-Rechenkapazität der obersten
Leistungsklasse
•
Förderung von Wissenschaft und Forschung durch Gewinnung von neuen
technischen Erkenntnissen und Erfahrungen auf dem Gebiet des
wissenschaftlichen Supercomputing, insbesondere durch Bündelung der
Supercomputer-Ressourcen in den Bereichen Höchstleistungsrechnen und
Capability Computing im nationalen, aber auch im europäischen Rahmen.
•
Koordination der drei nationalen HPC-Zentren. Dies betrifft die
Interoperabilität zwischen den Zentren, die Evaluierung und
bedarfsgerechte Abstimmung von Rechnerarchitekturen und deren
Beschaffungen. Es bedeutet auch die Festlegung einer gemeinsamen
Nutzungs- und Zugangspolitik.
•
Engste Kooperation mit der Gauß-Allianz, die die regionale und
themenbezogene HPC-Versorgungsebene in Deutschland umfasst.
Gauß-Zentrum für Supercomputing - Ziele o Ziele nach „außen“
• Stärkung der nationalen Handlungsfähigkeit
• Europäische Führerschaft
• Höchstleistungsrechnen als Schlüsseltechnologie auf höchstem Niveau
für Wissenschaft und Wirtschaft zugänglich machen
• Vorsprung von USA und Japan ausgleichen
• Führende Beteiligung an PRACE
o Ziele nach „innen“
 Erarbeitung eines Betriebs- und Organisationsmodells für GCS
• Vorbereitung eines gemeinsamen Finanzierungsmodells
Bund/Länder
• Abstimmung im Kontext PRACE
• Koordinierte Beschaffungsplanung
• Koordinierung der Infrastrukturen
• Koordinierung von Nutzungszugang und Nutzersupport
• Koordinierung von Entwicklungsaktivitäten
 Aktives Mitwirken bei der Gründung einer deutschen HPC-Allianz
Struktur der Förderung
Projektsteuerungskreis
BY
NRW
BW
Verwaltungsvereinbarung
Jeweils 1/6 der
Gesamtfinanzierung
BMBF
50% Fehlbedarfsfinanzierung
GCS
LRZ
JSC
HLRS
Kooperationsvertrag
der Forschungspartner
Projektphasen
2008
PetaGCS
PetaGCS
GCS
(Phase 1)
(Phase 2)
(Phase 3)
2014
Aufbau der Organisation
•
•
•
•
Einrichtung Geschäftsstelle
Beschaffung von
Höchstleistungsrechnern
Einrichtung von
Arbeitsgruppen
Implementierung von
Prozessen
2016
Ausbau der Infrastruktur
und Services
•
•
Aufstockung der Systeme
Beschaffungszyklus (jedes
Jahr ein neues
Höchstleistungssystem)
Entwicklunsgziele: Service Orientierung , Exascale Capability
2018ff
Nachhaltiger
Betrieb und
Finanzierung
GCS-Systeme (für Tier0/1)
o @ Jülich: „JUGENE“
• IBM Blue Gene / P auf Basis IBM Power PC 450, 294912 Cores in
72 Racks
• Erstes 1 Petaflop-System in Europa, Installation Juli 2009, 1.
Lieferstufe
• Bisher 5 GCS-Calls
o @ Garching: „SuperMUC“
• System von IBM auf Basis Intel-Prozessoren. Ca. 150.000 Cores,
IB-FDR, 3 Petaflops, < 4 MW, PUE < 1,1
• Integrationssystem Q3/2011, Gesamtsystem bis 01/2012#
o @ Stuttgart: „HERMIT“
• System von Cray auf Basis AMD-Prozessoren und Akzeleratoren
• 1. Stufe Q3/2011, 2. Stufe ab Q2/2013 (4 Petaflops)
GCS und PRACE (1)
o PRACE: Partnership for Advanced Computing in Europe
Ziel: Aufbau eines europäischen HPC-Ökosystems
Auslöser: FP7-Call (2007), Projekt Proposal 17.04.2007
PRACE Consortium: 15 Länder, Principal Partners D, F, GB, E, NL
Deutschland vertreten durch GCS
GCS ist Principal Partner und Projektkoordinator (Jülich)
o Preparatory Phase ab 01.01.2008 – 2010 (20 Mio. Euro)
Untersuchungen von organisatorischen, rechtlichen und technischen
Alternativen und Voraussetzungen zur Schaffung und zum Betrieb
einer europäischen HPC-Infrastruktur
GCS und PRACE (2)
o Aufgaben der Preparatory Phase (01/2008-06/2010)
• Untersuchung von Rechtsformen und Satzungen sowie von
Governance-Strukturen für EU-Ebene
• Untersuchung zu Finanzierungs- und Betriebsmodellen
• Sammlung von Anwendungsanforderungen, Portierung und
Skalierung ausgewählter Applikationen
• Entwicklung eines Peer-Review-Prozesses
• Untersuchung von Architekturen und Herstellern von
Petaflop/s-Systemen. Sichtung geeigneter Prototypen und
Herstellerkooperationen
GCS und PRACE (3)
o PRACE First Implementation Project (07/2010 – 06/2012)
• Weiterführung und Umsetzungsplanung der Preparatory Phase
• Vorbereitung der Gründung einer PRACE Legal Entity
(Satzung, Ortswahl, etc.)
o Gründung PRACE AISBL in Brüssel am 9.6.2010
• 20 Gründungsmitglieder, davon als Hosting Partner D, E, F, I
• Organe sind Council, Director / BoD
• Unterstützend: Scientific Steering Committee, Access Committee
• Hosting Partners „zahlen“ Cycles im Wert von 100 Mio. € / 5 Jahre
Offen: Contributors´und Users´agreements
o Vorbereitung PRACE Second Implementation Project (ab 2012)
• Weiterführung Untersuchungen Finanzierungs- und
Betriebsmodelle
• Einbindung Tier1-Systeme
• Integration DEISA, Industrie-Kooperationen (STRATOS)
Gauß-Allianz (1)
o Mit GCS sind Tier 0/1 abgedeckt, aber nicht Tier 2/3
o Tier2 umfasst regional bedeutende und thematisch gewidmete Systeme.
Ein Großteil wird über GG 91 b PSL finanziert
Ein koordinierter Zusammenschluss solcher Zentren fehlte.
o Es geht auch nicht nur um HPC-Systeminfrastrukturen, sondern auch um
• HPC-Forschung
• Nutzerunterstützung
• Erschließung neuer Anwendergruppen
• Ausbildungsaspekte
• Berücksichtigung der gesamten Versorgungspyramide
Gauß-Allianz
Gauß-Allianz (2)
o MoU zur Gründung der Gauß-Allianz, unterzeichnet von 12 Institutionen
am 18.06.2008 bei ISC in Dresden
o Gründung der Gauß-Allianz e. V. am 03.12.2008 mit Sitz Berlin
• Ordentliche Mitglieder: GCS, RWTH Aachen, TU Darmstadt, TU
Dresden, ZIB Berlin, RRZN Hannover, KIT Karlsruhe, RZG Garching,
DWD, DKRZ
• Assoziierte Mitglieder: DFN, RRZE Erlangen, Uni Frankfurt, DESY, HeinzNixdorf-Institut Paderborn
o Mitwirkung an den BMBF-Calls „HPC-Software für skalierbare
Parallelrechner“ 2007/2010
o Gauß-Allianz nimmt im Rahmen EGI Aufgaben der NGI-DE wahr
Fortschreibung HPC-Konzept (1)
o Ausgangspunkt
• „Reuter-Papier“ stammt von 2006
• Seitdem viel verändert: GA, GCS, PRACE, Calls, DGI, EGI, Ende HBFG,
NatKo ausgesetzt
o GCS aufgefordert, Gedanken zu einer HPC-Fortschreibung zu machen
• GCS legt Papier dem Projektsteuerkreis PetaGCS vor (10.02.2011)
• Papier wurde verteilt an WR, DFG, Gauß-Allianz, Länderreferenten
• WR-Anhörung am 15.02.2011
o Zur Zeit Diskussionen zum Papier und weiteren Vorgehen
Fortschreibung HPC-Konzept (2)
o Titel: High Performance Computing in Deutschland – Gedanken zur
Fortschreibung eines nationalen HPC-Konzeptes
o Gliederung
1. Einordnung des Papiers
2. Stand des nationalen und europäischen Versorgungskonzeptes
(Pyramide, GCS, GA, PRACE und Zugang)
3. HPC-Entwicklungen und Herausforderungen der Zukunft
(Anwendungssicht, Systemsicht, Datensicht)
4. HPC-Forschung und Kompetenznetzwerke
5. Ausbildung
6. Industrie und Höchstleistungsrechnen
7. Beschaffung, Finanzierung
8. Handlungsempfehlungen
Fortschreibung HPC-Konzept (3)
Handlungsempfehlungen
o HPC-Versorgungskonzept längs einer Leistungspyramide
• HPC-Pyramide ist sachgerecht und hat sich bewährt
• Jederzeit in D mindestens ein Spitzensystem. Mitarbeit bei Exascale
angeraten
• Notwendigkeit einer funktionierenden Ebene 1 mit Architekturvielfalt
• Notwendigkeit einer flächendeckenden Tier2-Versorgung
• HPC wird vielfältiger:
Computational Steering,
Real-Time Computing,
Data-Intensive Computing
Fortschreibung HPC-Konzept (4)
Handlungsempfehlungen
o HPC-Forschung und Ausbildung
• Stärkung der HPC-Methodenwissenschaften
• Stärkung der Tools für HPC-SW-Entwicklung und den HPC-Betrieb
• Anpassung von HPC-Applikationen an neue Architekturen inkl.
Skalierung
• Fortsetzung der BMBF-HPC-SW-Calls
• Förderung von HPC-Kompetenzzentren und Simulation-Labs
• Stärkung der HPC-relevanten Ausbildungsangebote
• Verstärkte Kooperationen mit der Industrie
Fortschreibung HPC-Konzept (5)
Handlungsempfehlungen
o Organisation und Gremien
• Koordination von Tier0/1 durch GCS hat sich bewährt
• Verstärkte Koordination in Tier2 unter starker Beteiligung der GA
erforderlich
• Engere Zusammenarbeit GA und GCS ist angeraten, insbesondere bei
Anwenderunterstützung, Lösungsentwicklung, Ausbildung,
Öffentlichkeitsarbeit, Beratung
• Organisationsform von GA und GCS angemessen. GA wird ein „NutzerBeirat“ empfohlen
Fortschreibung HPC-Konzept (6)
Handlungsempfehlungen
o Finanzierungsbedarf
• Zu Ebene 0/1: bisheriges Fördervolumen sollte nachhaltig abgesichert
werden
• Zu Ebene 2: Mittel bisher zu knapp, sollten keine Bauten i.e.S.
enthalten
• Zur HPC-Forschung: ca. 20 Mio. jährlich
• Länder werden ermutigt, Mittel für Simulation-Labs und
Kompetenzzentren bzw. –netzwerke bereitzustellen
Fazit
o Die WR-Empfehlungen von 2004, die BMBF-Initiativen und das ReuterPapier haben in den letzten Jahren viel bewegt
o Die HPC-Situation in D ist verbessert worden, aber die anderen Länder
schlafen nicht
o Die Nachhaltigkeit der Maßnahmen der letzten Jahre ist nicht gesichert
o Deutschland muss in Europa an der Spitze bleiben. HPC bleibt ein wichtiger
Wettbewerbsfaktor