Transcript Cluster computing

Cluster computing
VLSI
Autori:
Sava Simić
[email protected]
[email protected]
Marko Bežulj
[email protected]
Mentor:
Prof. dr Veljko Milutinović
[email protected]
[email protected]
1/40
Sadržaj
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Šta je klasternig?
Istorijat
Zasto klasteri?
Klasifikacija klastera
Hardware klastera
Single System Image
Pogodnosti
Ograničenja
Primena
Rezime
Reference
[email protected]
[email protected]
2/40
Šta je klastering?
• Postoje 3 načina da se podignu performanse nekog posla
1. Raditi više
2. Raditi pametnije
3. Pronaći pomoć
• Analogija u računarskoj tehnici
1. Koristiti brži hardware
Smanjiti vreme potrebno da se izvrši instrukcija,
tj smanjiti dužinu računarskog takta
2. Optimizovati algoritme i tehnike izračunavanja
3. Koristiti više računara za rešavanje problema
Povećati broj instrukcija koji može da se izvrši
u jednom računarskom taktu
[email protected]
[email protected]
3/40
Šta je klastering?
• Klastering obuhvata korišćenje više računara,
hard diskova i različitih veza,
kako bi se objedinili korisnicima u jedinstven sistem.
• Klastering podrazumeva povezivanje sistema
kako bi se ostvarila:
– Bolja sistemska pouzdanost
– Povećane performanse
– Bolje iskorišćenje hardware-a
[email protected]
[email protected]
4/40
[email protected]
[email protected]
5/40
Istorijat
• Prvi klastering projekat bio je ARCnet,
razvijen od strane Datapoint-a 1977. godine.
• ARCnet nije bio komercijalno isplativ,
i klastering nije bio komercijalno isplativ
dok nije DEC napravio VAXcluster 1983.
• VAXcluster je imao VAX/VMS operativni sistem,
računari su mogli biti dodavani i sklanjani iz VAXcluster
bez efekta na ostatak klastera.
• ARCnet i VAXcluster su osim paralelnog procesiranja
obuhvatali i deljeni fajl sistem i periferne uređaje.
[email protected]
[email protected]
6/40
Istorijat
• Istorija klastera je direktno povezana
sa razvojem računarskih mreža.
• Kako su mreže postajale jeftinije i brže,
klasteri su postajali atraktivniji.
[email protected]
[email protected]
7/40
Klasteri danas
[email protected]
[email protected]
8/40
Zašto klasteri?
• Postoji potreba za većom procesorskom moći
nego što sekvencijalni procesori mogu da podrže
(tehnologija je dostigla maksimume po pitanju brzine).
• Propusni opseg novih mrežnih tehnologija prati potrebu
koju imaju klasteri kroz LAN i WAN protokole.
• Radne stanice klastera se integrišu lakše
nego što bi se dizajnirali specijalni paralelni računari.
• Organizacije/firme često nemaju sredstava
da kupuju super računare.
[email protected]
[email protected]
9/40
Zašto klasteri?
• Razvojni alati koji se danas koriste
uglavnom nisu prilagođeni za paralelno procesiranje
zbog jedinstvenosti svakog paralelnog računarskog sistema.
• Ispitivanja pokazuju da je zauzetost desktop radne stanice
tipično ispod 10% performanse PC računara,
koje svakodnevno napreduju,
te se zauzetost procesora još više smanjuje.
• Tipično se korisnici PC računara dele u 3 grupe:
1. Slanje mejlova, pisanje dokumentacije
2. Razvoj softvera (edit, compile, debug, test)
3. Pokretanje aplikacija koje zahtevaju visoku procesorsku moć
(simulacije...)
[email protected]
[email protected]
10/40
Zašto klasteri?
• Ideja udruživanja u klastere je da se prazan hod resursa
iz grupa (1) i (2) iskoristi za one iz grupe (3).
• Međutim tu nastaju problemi oko vlasništva procesora;
deljenje resursa noću je jednostavno,
u toku regularnih radnih sati treba postaviti liniju
koja neće usporiti grupe (1) i (2).
[email protected]
[email protected]
11/40
Klasifikacija klastera
•
•
•
•
•
•
Na bazi ciljne grupe
Na bazi vlasništva
Na bazi arhitekture čvorova
Na bazi OS-a čvorova
Na bazi arhitekture i organizacije čvorova
Na bazi broja čvorova
[email protected]
[email protected]
12/40
Klasifikacija klastera
na bazi ciljne grupe
• High Performance (HP) Klasteri
Klasteri za izvršavanje velikih/zahtevnih aplikacija.
• High Availability (HA) Klasteri
Klasteri sa velikim brojem podržanih servisa,
koji nude mogućnost failover-a.
[email protected]
[email protected]
13/40
High Availability (HA) Klasteri
[email protected]
[email protected]
14/40
Klasifikacija klastera
na bazi vlasništva
• Dedicated Klaster
Klaster čine procesori/multiprocesori spakovani u rack
• Non-dedicated
Klaster čine PC računari
[email protected]
[email protected]
15/40
Klasifikacija klastera
na bazi arhitekture čvorova
• Clusters of PCs (CoPs)
• Clusters of Workstations (COWs)
• Clusters of SMPs (CLUMPs)
[email protected]
[email protected]
16/40
Klasifikacija klastera
na bazi OS-a čvorova
•
•
•
•
•
•
Linux Clusters (Beowulf)
Solaris Clusters (Berkeley NOW)
NT Clusters (HPVM)
AIX Clusters (IBM SP2)
SCO/Compaq Clusters (Unixware)
...
[email protected]
[email protected]
17/40
Klasifikacija klastera
na bazi organizacije čvorova
• Homogeni klasteri
Svi čvorovi imaju sličnu konfiguraciju.
• Heterogeni klasteri
Čvorovi imaju različite procesore
sa različitim operativnim sistemima.
[email protected]
[email protected]
18/40
Klasifikacija klastera
na bazi broja čvorova
• Group Clusters (#nodes: 2-99)
čine uglavnom dedicated/non-dedicated računari.
• Departmental Clusters (#nodes: 99-999)
• Organizational Clusters (#nodes: many 100s)
using ATMs Net
• Internet-wide Clusters=Global Clusters:
(#nodes: 1000s to many millions)
Metacomputing
Web-based Computing
Agent Based Computing
[email protected]
[email protected]
19/40
Hardware Klastera
• Hardverska konfiguracija klastera
zavisi od platforme i proizvođača.
[email protected]
[email protected]
20/40
Hardware Configuration
Primer:
• 1 master node + 64 compute nodes +
Gigabit Interconnection
• Master Node
– Dell PE2650, P4-Xeon 2.8GHz x 2
– 4GB RAM, 36GB x 2 U160 SCSI (mirror)
– Gigabit Ethernet ports x 2
• SCSI Storage
– Dell PV220S
– 73GB x 10 (RAID5)[email protected]
[email protected]
21/40
Hardware Configuration
• Primer:
• Compute Nodes
– Dell PE2650, P4-Xeon 2.8GHz x 2
– 2GB RAM, 36GB U160 SCSI HD
– Gigabit Ethernet ports x 2
• Gigabit Ethernet Switch
– Extreme BlackDiamond 6816
– 256Gb Backplane
– 72 Gigabit ports (8 ports card x 9)
[email protected]
[email protected]
22/40
[email protected]
[email protected]
23/40
Arhitektura
• Klaster je tip paralelnih
ili distribuiranih sistema za obradu,
koji se sastoji od međusobno povezanih računara
koji zajednički rade kao jedinstveni,
integrisani računarski resurs.
[email protected]
[email protected]
24/40
Arhitektura
1 Čvor:
• jedan ili više procesorskih sistema sa memorijom,
ulazno/izlaznim uređajima i operativnim sistemom
• generalno 2 ili više računara (čvorova) povezanih zajedno
u jednom kabinetu,
ili fizički odvojenih i povezanih preko LAN-a
• pojavljuju se kao jedinstven sistem i aplikacija za korisnike.
• obezbeđuje troškovno efikasan način
da se steknu bolje karakteristike i prednosti.
[email protected]
[email protected]
25/40
Arhitektura
Klasteri imaju 3 osnovne funkcionalnosti:
• Dostupnost - kada jedan sistem nastavlja da pruža usluge
čak i kada je jedan od kompjutera vise nije u mrezi
zbog kvara hardvera ili iz drugih razloga.
• Skalabilnost - je sposobnost ukupnog sistema da omogući
dodavanje nove komponente, kao što su računari,
koji će povećati izdržljivost sistema.
• Pojednostavljenje – je sposobnost klastera da omogući
administratorima da upravljaju celom grupom
kao jedinstvenim sistemom.
To u velikoj meri pojednostavljuje menadžment
grupa sistema i njihove primene.
[email protected]
[email protected]
26/40
Arhitektura – podela klastera
• Na osnovu arhitekture klasteri mogu da se
podele na dve grupe:
- Close Clusters (vecina cvorova je
sakrivena iza gateway cvora,
manje IP adresa i bolja sigurnost)
- Open Clusters
(svi cvorovi mogu da se vide,
vise IP adresa, fleksibilniji su)
[email protected]
[email protected]
27/40
Close Clusters
[email protected]
[email protected]
28/40
Open Clusters
[email protected]
[email protected]
29/40
Clustering concepts
• Paralelizam – omogućava da se nešto uradi
u delovima koji rade samostalno
i koji se ne mogu dalje razložiti.
Paralelizam operiše na 2 nivoa:
– Hardverski paralelizam i
– softverski paralelizam.
[email protected]
[email protected]
30/40
Clustering concepts
• Hardverski paralelizam (2 nivoa rada):
– sa CPU na pojedinačni sistem
(procesor može da ubrza naš kod)
– više sistema
koji računarski problem izvršavaju distribuirano
• Podela :
– CPU level parallelism
– System level parallelism
[email protected]
[email protected]
31/40
Clustering concepts
• Softverski paralelizam – sposobnost
da se pronađu oblasti u sistemu
koje se mogu podeliti na manje celine
• Podela:
– System-Level Middleware
(Single System Image (SSI))
– Message Passing Primitives
– Parallel Programming Using MPI
– Application-Level Middleware
[email protected]
[email protected]
32/40
Single System Image (SSI)
• Iluzija stvorena od strane softvera
ili hardvera, koja predstavlja kolekciju resursa
kao jedan moćniji resurs.
• SSI čini da se klaster pojavljuje
kao jedna mašina za korisnika,
aplikaciju, ili mrežu.
• Klaster bez SSI nije klaster.
• Svaki SSI ima granicu i podrška za SSI
može postojati na različitim nivoima
unutar sistema, i da se nadogradi jedna na drugu.
[email protected]
[email protected]
33/40
Prednosti Single System Image
(SSI)
• Obezbeđuje jednostavan, jasan prikaz sistemskih resursa
i aktivnosti iz bilo kod čvora klastera
• Korisnik zna gde će se aplikacija pokrenuti
• Pojednostavljuju upravljanje sistemom
• Rad sa poznatim interfejsom i komandama
i omogućava administratorima da upravljaju
celim klasterom kao jednim entitetom
• Smanjuje se rizik od greške operatera
• Poboljšan sistem odziva i performansi
• ...
[email protected]
[email protected]
34/40
Scalability vs. Single Sistem
Image
[email protected]
[email protected]
35/40
Pogodnosti
• Smanjenje troškova za veću
procesorsku snagu, više memorije,
smanjenje troškova povezivanja hardvera...
• Mogućnost rada u realnom vremenu
• Jednostavnost tehnologije
• Dostupnost
• Otpornost na otkaze
• ...
[email protected]
[email protected]
36/40
Ograničenja
• Cluster Networking – povezivanje hardvera
razlicite mrezne tehnologije
• Cluster Sotware – pravljenje različitih verzija softvera
za različite vrste sistema
• Programming – naš kod će morati da bude napisan
tako da podržava i najmanje moćni čvor u klasteru
• Timing – pošto mašine imaju različite performanse
naš kod će biti u različitom stadijumu izvršavanja
na različitim čvorovima
• Network Selection – veliki broj različitih topolologija mreže
• Speed Selection
[email protected]
[email protected]
37/40
Rezime
• Klasteri su budućnost
- Rešavaju paradoks paralelnog procesiranja
- Veoma brzo se razvijaju
- Novi trendovi u razvoju hardvera i softvera
obećavaju poboljšanje SSI.
- Klasteri na bazi superkompjutera
mogu se videti svugde.
[email protected]
[email protected]
38/40
Literatura
www.buyya.com
www.beowulf.org
www.clustercomp.org
www.sgi.com
www.thu.edu.tw/~sci/journal/v4/000407.pdf
www.dgs.monash.edu.au/~rajkumar/cluster
www.cfi.lu.lv/teor/pdf/LASC_short.pdf
www.webopedia.com
www.howstuffworks.com
[email protected]
[email protected]
39/40
Pitanja
Q&A
[email protected]
[email protected]
40/40