Tehnologii GRID si Siteme de Management al Resurselor

Craciun Eduard – SRIC Arhitectura sistemelor culster si GRID

Tehnologii GRID si Siteme de Management al Resurselor

Cuprins

Introducere Momentele cheie ale aparitiei GRID si P2P computing Provocarile Managementului Resurselor Caracteristicile si componentele GRID Clasificarea Sistemelor de Management al Resurselor Prezentarea celor mai cunoscute sisteme GRID

2

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Introducere

Termenul de GRID computational este o analogie la termenul de GRID electric care ofera acces transparent si consistent la electricitate fara a conta sursa de unde provine acesta. GRID-urile permit agregarea si selectarea unei varietati de resurse precum supercomputere, sisteme de stocare a datelor si aparaturi specializate ce sunt in diferite locatii geografice si care apartin diferitor organizatii in scopul de a rezolva probleme computationale de mari proportii din diferite domenii.

3

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Momentele cheie ale aparitiei GRID si P2P computing

-

1960

:

IBM mainframe

, calculatoare puternice pentru acea vreme desrveau necesitatile utilizatorilor.

1970

: DEC minicomputers, au acaparat piata prin producerea unor “minicalculatoare” la un pret mult mai scazut.

1973

: proiectul Xerox Palo Alto Research Center(PARC). A fost creata prima retea Ethernet si a fost creat un “worm” care traversa cam 100 de calculatoare zilnic in cautarea de resurse disponibile pentru a le utiliza. Acest program avea capacitatea de a ramane in memoria calculatoarelor si de a se replica.

1980

: apar “vector computers” (Crays) si mai tarziu “parallel computers” (MPP) care vor deservi necesitatile aplicatiior complexe timp de un deceniu.

4

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Momentele cheie ale aparitiei GRID si P2P computing

-

1990

: desi Internetul a aparut in anul 1969 ca o finalizare a unui proiect al ARPA acesta a devenit infrastructura de comunicare pentru sistemele GRID abia in 1990 odata cu trecerea retelei ARPANET de sub administrarea armatei sub administrarea NSF(National Science Foundation).

1990

: a fost inventat WEB de catre Tim Berners-Lee. Aceasta noua tehnologie permite crearea, oraganizarea si accesarea fisierelor indiferent de locatie.

1994

: s-a format World Wide Web Consortium(W3C) care a dezvoltat noi standarde pentru schimbul de informatii precum si metode de accesare a aplicatiilor sub forma de servicii.

5

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Momentele cheie ale aparitiei GRID si P2P computing

-

> 1994

: Internetul si tehnologiile WEB devin din ce in ce mai raspandite iar tehnologia hardware avanseaza rapid. In cosecinta apar sistele “cluster” ce vor fi folosite pentru problemele computationale complexe. De aici pana la GRID si P2P computing a mai fost doar un pas -> conectarea clusterelor aflate in diferite zone pentru a deservi aceleasi aplicatii.

GRIDul are ca scop agregarea resurselor de tip cluster P2P computing-ul are ca scop legarea calculatoarelor personale low-end (personal PCs) pentru a face schimb de informatii(documente, muzica). 6

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Provocarile Sistemelor de Management al Resurselor

Mediul GRID contine resurse, sisteme de management si politici eterogene iar aplicatiile au cerinte variate (CPU, RAM) ceea ce face ca managementul resurselor sa fie destul de dificil.

Exista 3 abordari de management al resurselor:

centralizat, descentralizat si ierarhic.

Centraliazat:

necesita informatii de stare complete ale sistemelor si politici de management comune intregului GRID. Datorita complexitatii GRID-urilor este imposibil de creat o matrice de performanta general valabila pentru intregului sistem.

7

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Provocarile Sistemelor de Management al Resurselor

-

Descentraliazat:

este folosit un “resource broker” care face legatura dintre clienti si GRID. Acesta descopera resursele disponibile, selecteaza si agrega resursele necesare executiei programului clientului, lanseaza in executie aplicatia si aduna datele rezutate.

Pentru managementul resurselor din GRID se foloseste “low-level middleware”. Acestea controleaza accesul la resurse si autentifica userii.

Pe partea clientului exista un “middleware” ce ofera abilitatea de a crea aplicatii compatibile cu GRID-ul 8

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Caracteristicile GRID

-

Domenii de Administrare Multiple

: cu toate resursele GRID sunt raspandite in mai multe locatii (domenii de administrare) si au mai multi proprietari trebuie ca sistemul sa fie totusi autonom pentru a putea functiona.

Eterogenitatea

: GRID-ul incorporeaza resurse cu tehnologii diferite si capabilitati variate.

Scalabilitate

: GRID-ul trebuie sa poate fi extins fara ca performanta acestuia sa aiba de suferit.

Dinamicitate si Adaptabilitate

: probabilitatea ca unele resurse sa devina indisponibile intr-un GRID este mare dar GRID-ul trebuie sa ramana functional si in astfel de situatii.

9

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Componentele GRID

-

Grid Fabric:

totalitatea resurselor accesibile din Internet.

Core Grid Middleware:

soft-uri (agenti) ce se ocupa de managementul resurselor din GRID, securitatea sistemului si QOS

User-level Grid Middleware:

include medii de dezvoltare pentru aplicatiile suportate de GRID si metode de acces la GRID.

Grid Applications and Portals:

ofera servicii de tip WEB pentru accesul la GRID si la datele intoarse de acesta.

10

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Componentele GRID

11

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Clasificarea sistemelor de management

12

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Clasificarea Sistemelor de Management

In functie de scopul GRID-ului, Sistemele de Management al Resurselor GRID-ului pot fi de 3 feluri: -

Computationale De Date

-

Service Organizarea masinilor

: aceasta afecteaza modul de comunicare dintre RMS-uri si scalabilitatea sistemului.

Modelul Resurselor:

influenteaza aplicatiile ce vor rula pe GRID, deci si RMS-ul.

-

Modelul schematic:

resursele sunt reprezentate printr-un limbaj de descriere impreuna cu anumite constrangeri.

13

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

14

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

15

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

-

AppleS:

proiectat la Universitatea “California” din san Diego, foloseste agenti ce monitorizeaza dinamic modificarile de performanta ale resurselor.

• • Acesti agenti se auto-planifica pentru executie pe GRID. A fost folosit pentru proicte de MagnetoHidrodinamica, genetica si tomografie.

Nu ofera QoS.

• Foloseste euristici de predictie a starii ssitemului si replanificarea task-urilor este orientata pe aplicatie.

16

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

-

Condor: cycle stealing technology for high throughput computing

• • Dezvoltat la Universitatea “Wisconsin” din Madison.

Poate folosi o gama larga de resurse precum PC-uri si clsutere aflate in propritatea diferitor oameni.

• • • Este recunoscut pentru valorificarea ciclilor de ceas liberi (cycle stealing).

Are o arhitectura plata si este performant atat pentru aplicatii secventiale cat si pentru cele paralele.

Nu ofera Qos si are un planificator centralizat.

17

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

-

Data Grid:

• • Creat de CERN, EONR si HEP.

Are ca scop analizarea distribuita a datelor din experimentele fizice. • • • Date de ordinul catorva Petabytes sunt distribuite intr-o maniera ierarhica in mai multe locatii raspandite pe mai multe continente.

Structura este una ierarhica in care la nivelele inferioare sunt tinute cat mai putine date.

Nu ofera QoS si descoperirea resurselor se face descentralizat prin interogari periodice.

18

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Caracteristicile GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Prezentarea Sistemelor GRID existente

-

Globus:

• Ofera o infrastructura software care permit aplicatiilor sa “vada” resursele eterogene ale GRID-ului sub forma unei singure masini virtuale.

-

Javelin:

• Este o infrastructura bazata pe JAVA pentru calculul paralel pe Internet.

• Foloseste statii conectate in GRID prin intermediul unui broker ce poate fi instalat de orice utilizator.

19

Introducere – Momentele cheie – Provocarile Managementului Resurselor – Componentele GRID – Clasificarea Sistemelor de management – Prezentarea Sistemelor GRID

Bibliografie

1. Rajkumar Buyya, “Economic-based Distributed

Resource Management and Scheduling for Grid

Computing”, April 2002 20

SFARSIT

•

VA MULTUMESC !!

•

Intrebari.........

21