Transcript Document 7375775

Algorithmique pour les plateformes distribuées et hétérogènes
LIP ENS Lyon
INRIA Rhône-Alpes
Frédéric Desprez – ACI GDS – 22/09/03
1
Plan de la présentation
• Membres du projet
• Introduction et fondements scientifiques
• Présentation globale du projet
– Algorithmique et ordonnancement
– Ordonnancement pour le calcul creux
– Approche client-serveur pour la simulation
• Logiciels
• Collaborations régionales, nationales et internationales
• Contrats et projets
• Conclusions et perspectives
Frédéric Desprez – ACI GDS – 22/09/03
2
Effectifs
•
Permanents
–
–
–
–
–
•
Collaborateurs extérieurs
–
–
•
•
E. Caron (MdC ENS)
F. Desprez (DR2 INRIA, responsable)
J.-Y. L’Excellent (CR2 INRIA)
Y. Robert (Prof. ENS Lyon)
F. Vivien (CR1 INRIA)
J.-M. Nicod (MdC Besançon)
L. Philippe (Prof. Besançon)
Détachements, IE, ATER, postdocs, invités
–
P. Combes (IE INRIA ACI GRID ASP , jusqu’à Sept. 03)
– H. Dail (IE INRIA, à partir de Janv.03)
–
G. Utard (Det. INRIA, jusqu’à Sept. 03)
– A. Su (Posdoc INRIA, à partir de Janv.03)
–
C. Pera (IE ENS RNTL GASP, , jusqu’à Juin. 04)
– M. Colin (Postdoc INRIA, jusqu’à Sep. 04)
–
C. Koch Hoffer (IE INRIA VTHD++, jusqu’à Sept. 03)
Doctorants
–
S. Dahan (B), V. Garonne (M), A. Guermouche, B. Del Fabro (B), L. Marshall,
P. Kaur Chouhan, A. Legrand, M. Quinson (jusqu’à Sept. 03), H. Renard, A. Vernois
Frédéric Desprez – ACI GDS – 22/09/03
3
Introduction et fondements
Frédéric Desprez – ACI GDS – 22/09/03
4
Caractéristiques des plateformes cibles
 Hétérogénéité
– Réseaux (couches de communications multi-protocoles), processeurs,
hiérarchies mémoire profondes
– Équilibrage des charges (ordonnancement)
– Distribution des données (statique et dynamique)
– Évaluation des performances, modélisation des architectures
– Simulation
 Dynamicité
–
–
–
–
–
–
Découverte de l’architecture
Équilibrage des charges (ordonnancement)
Distribution des données
Évaluation des performances, modélisation
Informations sur la charge en temps réel
Réactivité !
Frédéric Desprez – ACI GDS – 22/09/03
5
Nouveau projet GRAAL (GRids And ALgorithms)
• Focalisation sur les problèmes algorithmiques dans les
environnements hétérogènes et distribués
– Algorithmique, placement de données et ordonnancement
– Algorithmique pour le creux
– Approche client-serveur pour l’exécution distribuée
• Mots-clés:
algorithmique + bibliothèques + applications
sur les architectures hétérogènes et distribuées
• Un des 5 challenges de l’INRIA : « Maîtriser l’infrastructure numérique
en sachant programmer, calculer et communiquer sur l’Internet et sur
des réseaux hétérogènes »
Frédéric Desprez – ACI GDS – 22/09/03
6
Algorithmique et ordonnancement
Y. Robert, F. Vivien
Frédéric Desprez – ACI GDS – 22/09/03
7
Algorithmique et ordonnancement : Objectifs
• Nécessité d'une approche théorique malgré la difficulté
des problèmes d'ordonnancement (minimisation du temps
d'exécution)
• Injecter une connaissance statique dans un environnement
essentiellement dynamique
• Étudier l'impact des nouveaux paramètres architecturaux :
hétérogénéité, volatilité, hiérarchie
• Évaluation des stratégies : rejouer/comparer les heuristiques contre
une même charge, simulée mais réaliste
Frédéric Desprez – ACI GDS – 22/09/03
8
Algorithmique et ordonnancement : Résultats (1/2)

ALGORITHMIQUE
– Extension de ScaLAPACK aux grappes hétérogènes
– Nouveaux résultats de complexité
– Redistribution face aux variations de vitesse
– Publications marquantes : IEEE TC, IEEE TPDS, livre ALgoPar

DIVISIBLE LOAD
– Maître-esclave hétérogène
– Algorithme multi-round : premier résultat de complexité
– Publications marquantes : IEEE TPDS, Parallel Computing
– Collaboration UCSD : H. Casanova
Frédéric Desprez – ACI GDS – 22/09/03
9
Algorithmique et ordonnancement : Résultats (2/2)
ORDONNANCEMENT EN REGIME PERMANENT
•
•
•
•
•
Distribution optimale de tâches indépendantes sur une plateforme complexe
Extension au parallélisme mixte
Approche féconde : nombreux travaux en cours
Publications marquantes : IPDPS, journaux à paraître
Collaboration UCSD : L. Carter, J. Ferrante
SimGrid
•
•
•
Extension à un ordonnanceur distribué
Découverte et modélisation des réseaux
V2 du logiciel disponible librement
Frédéric Desprez – ACI GDS – 22/09/03
10
Algorithmique et ordonnancement : Perspectives

ALGORITHMIQUE
– Grappes de grappes
– Équilibrage de charge avec partage de bande passante dans les
réseaux

ORDONNANCEMENT
– Heuristiques hiérarchiques et intégration DIET
– Boîte-à-outils maître-esclave hétérogène
– Tâches partageant des fichiers
– Réplication pour la tolérance aux pannes
Frédéric Desprez – ACI GDS – 22/09/03
11
Algorithmique pour le creux
J.-Y. L’Excellent, G. Utard
Frédéric Desprez – ACI GDS – 22/09/03
12
Méthodes directes pour la résolution de systèmes
linéaires creux de grande taille
Simulation d’un
phénomène physique
•
Méthodes directes (ex: multifrontale)
–
–
–
•
Résolution
d’un système
linéaire creux
Ax=b
A = LU ou LDLT (Gauss)
Résolution : Ly = b puis Ux = y
Très robustes si pivotage numérique ( structures de données dynamiques)
Heuristiques de renumérotation
Remplissage
Matrice initiale
•
Approches dynamiques (placement, ordonnancement)
–
–
Structures de données dynamiques
Dynamicité liée aux architectures parallèles actuelles
Frédéric Desprez – ACI GDS – 22/09/03
13
Méthodes directes : Axes de recherche (1/2)
•
Étude des techniques de renumérotation les plus récentes
–
–
–
–
•
Ordonnancements dynamiques et équilibrage de charge
–
–
–
•
AMD, AMF, SCOTCH (ScAlApplix), PORD (Univ of Paderborn), METIS (Univ of
Minnesota)
Impact sur le graphe de dépendance des tâches
Impact sur la mémoire
Impact sur les performances et le parallélisme
Grappes de multiprocesseurs
Ordonnanceurs pour optimiser les accès mémoire
Extension aux architectures plus hétérogènes
Approches out-of-core
 Faire face aux défis de la simulation (taille croissante des problèmes)
– Factorisation + résolution (anticiper la lecture des facteurs)
– Très lié aux aspects ordonnancement
Frédéric Desprez – ACI GDS – 22/09/03
14
Méthodes directes : Axes de recherche (2/2)
•
Accès à nos techniques de résolution au travers de la grille
–
–
•
Expérimentation et validation des recherches sur des problèmes
industriels de grande taille
–
–
–
•
Grâce à la plateforme logicielle MUMPS, diffusée dans l’industrie: Boeing, EADS,
CEA, Dassault, …
Rester à l’écoute des besoins des utilisateurs numériciens
Maintenir une plateforme d’expérimentation compétitive
Publications
–
•
Mise en place en environnement client-serveur (avec DIET)
Site d’expertise (portail Web) avec comparaison à distance d’une large gamme de
solveurs creux (ACI GRID TLSE)
SIAM J. Matrix Analysis and Applications, ACM Trans. Math. Software, Comput.
Methods Appl. Mech. Eng., Parallel Computing, IPDPS
Collaborations
–
ENSEEIHT-IRIT, CERFACS, PARA//AB (Norvège), NERSC (Berkeley)
Frédéric Desprez – ACI GDS – 22/09/03
15
Méthodes directes : Perspectives
•
Poursuivre les collaborations industrielles
– accès à des problèmes réels
– contrats d’étude
•
Algorithmique numérique pour le creux:
– out-of-core et liens avec l’ordonnancement
– couplage avec des méthodes itératives
– phase d’analyse symbolique parallèle, etc.
•
Environnements très hétérogènes
– processeurs/réseaux/mémoire
– ordonnancements mixtes statiques/dynamiques
•
Utilisation des ressources de la grille
– accès à distance aux solveurs
– valorisation de nos recherches (aspect vitrine)
Algorithmique numérique pour le creux,
… en ayant pour objectif la grille
Frédéric Desprez – ACI GDS – 22/09/03
16
Approche client serveur pour la simulation
E. Caron, F. Desprez, J.-M. Nicod, L. Philippe
Frédéric Desprez – ACI GDS – 22/09/03
17
Logiciels
•
Scilab//
– Version parallèle de Scilab (PVM, PBLAS, ScaLAPACK, NetSolve, DIET)
– Surcharge des opérateurs
•
DIET
– Toolkit pour applications utilisant des serveurs de calcul distribués
– API pour l’ajout de nouvelles applications
– FAST (Fast Agent System Timer) pour l’évaluation de la plateforme
•
MUMPS
– Solveur creux par méthode multifrontale
– Collaboration avec le CERFACS, l’ENSEEIHT-IRIT et PARA//AB
– Plateforme d’expérimentation et de valorisation
•
SimGrid
– Toolkit de simulation à événements discrets pour la simulation d’heuristiques
d’ordonnancement
– Insertion de traces réelles
– Amélioration dans GRAAL (simulation d’agents communicants)
– En collaboration avec UCSD
Frédéric Desprez – ACI GDS – 22/09/03
23
Contrats et projets nationaux
•
•
ARC INRIA RedGRID : redistribution de données en environnement hétérogène
ACI Grid
–
–
–
–
–
–
–
•
ASP :
TLSE :
DataGRAAL :
CGP2P :
GRIPPS :
GRID2 :
ARGE :
déploiement d’applications sur plateforme DIET
site d’expertise pour les matrices creuses
gestion de données dans les grilles
approche calcul global (XtremWeb)
recherche de motifs en bioinformatique
animation
fédération des travaux dans le grand est
ACI Grandes Masses de Données
– GDS :
– Grid Explorer
Gestion de données à grande échelle
Plateforme de simulation
•
•
•
RNTL GASP : développement de la plateforme DIET (avec Sun Labs Europe)
RNRT VTHD++ : validation de la plateforme réseau avec nos applications
PSMN et Fédération lyonnaise de calcul
•
En cours de soumission : GRID 5000, RNTL eGuilde
Frédéric Desprez – ACI GDS – 22/09/03
24
Contrats et projets nationaux, européens et
internationaux
•
NSF/INRIA
–
–
–
•
Équipe Associée INRIA
–
–
–
–
•
Déploiement de DIET sur une grille nationale + applis
Programme Franco-Bavarois
–
–
•
GRAIL (UCSD)
Ordonnancement pour les plateformes hétérogènes
Simulation et validation de DIET avec SimGrid
Échange de chercheurs et organisation workshop
STAR Korée
–
•
University of Minnesota, University of Indiana, NESRC, ScAlApplix, ALADIN, ENSEEIHT-IRIT
– préconditionneurs parallèles
University of Tennessee
– environnements pour la grille
University of California San Diego
– ordonnancement hétérogène
LRR Lab., TUM (Munich)
Monitoring grille et application de bioinformatique
Réseau d’excellence
–
CoreGRID (6ème PRCD)
Frédéric Desprez – ACI GDS – 22/09/03
25
Collaborations nationales et internationales
•
Laboratoires étrangers
–
–
–
–
–
–
•
University of Tennessee Knoxville, USA
University of California San Diego, USA
NESRC, Lawrence Berkeley Laboratory, USA
PARALLAB, University of Bergen, Norvège
TUM Munich, Allemagne
University of Sains, Malaisie
Projets INRIA
–
–
–
–
–
–
–
–
APACHE (Rhône-Alpes)
ARES (Rhône-Alpes)
RESO (Rhône-Alpes)
Résédas/ALGORILLE (Lorraine),
ALADIN (IRISA)
PARIS (IRISA),
Métalau (Rocquencourt)
ScAlApplix (Futur)
Frédéric Desprez – ACI GDS – 22/09/03
•
Laboratoires français
– Université de Franche-Comté
– LaRIA (Amiens)
– ENSEEIHT-IRIT, CERFACS (Toulouse)
– LSIIT (Strasbourg)
– IBCP
– PSMN
26
Positionnement au sein de l’INRIA
•
APACHE (INRIA Rhône-Alpes)
-
•
SARDES (INRIA Rhône-Alpes)
-
•
Approches différentes (modélisation des applications vs heuristiques d’ordo)
Plusieurs collaborations en cours (ARC INRIA, ACI GRID, RNTL)
Grand Large (Futur)
-
•
Réutilisation de leurs développements autour de Grid Enabled Corba
Plusieurs collaborations en cours (ARC INRIA, ACI GMD)
ALGORILLE (Lorraine)
-
•
Utilisation des résultats de SARDES autour des intergiciels pour les plateformes
distribuées
ObjectWeb
PARIS (INRIA-IRISA)
-
•
Collaboration existante avec l’équipe de D. Trystram autour de l’ordonnancement
Intérêt pour le déploiement automatique de logiciels
Approches différentes (calcul global dans son ensemble pour Grand Large)
Collaborations existantes (CGP2P) et possibles (ordonnancement, sécurité, tolérance
aux pannes, découverte de services)
ScAlApplix (Futur)
-
Approches différentes (ordonnancement statique vs dynamique), autres applications
Collaborations existantes (MUMPS/Pastix, renumérotations, ARC INRIA)
Frédéric Desprez – ACI GDS – 22/09/03
27
Conclusions
Frédéric Desprez – ACI GDS – 22/09/03
28
Conclusions
• Des aspects intergiciels pour les plateformes distribuées et
hétérogènes ….
• … aux aspects fondamentaux de l’algorithmique parallèle hétérogène
et de l’ordonnancement
• Implications importantes dans les projets de grilles nationaux,
européens et internationaux
• Visibilité nationale et internationale
• Rester proche des applications: calcul numérique « classique » mais
aussi d’autres domaines (data-intensive)
• Collaborations industrielles autour des grilles de calcul
Frédéric Desprez – ACI GDS – 22/09/03
29
But ultime
•
Problem Solving Environments
– Plus de transparence, généricité, sécurité
– Unification des couches logicielles (Grid Forum)
– Couplage algorithmique et modèles avec les supports d’exécution et les
architectures
– Pouvoir traiter à la fois les données et les calculs
Production Team
Individual Investigator
Other Users
Interactive User Tools
Request Planning and
Scheduling Tools
Virtual Data Tools
Resource
Resource
Management
Management
Services
Services
Request Execution
Management Tools
Security
Securityand
and
Policy
Policy
Services
Services
Other
OtherGrid
Grid
Services
Services
Transforms
Raw data
source
Frédéric Desprez – ACI GDS – 22/09/03
Distributed resources
(code, storage,
computers, and network)
30
Domaines d’applications
• Applications des solveurs creux
• Dynamique moléculaire
• Modèles numériques de terrain
• Simulation de circuits électroniques
• Biochimie
• Physique
• Bioinformatique
• Compilation à distance
Frédéric Desprez – ACI GDS – 22/09/03
31