presentation
Download
Report
Transcript presentation
Polska Infrastruktura
Informatycznego Wspomagania Nauki
w Europejskiej Przestrzeni Badawczej
PL-Grid i jego Wirtualne Laboratorium
dla nauk społeczno-gospodarczych
Joanna Kocot, Eryk Ciepiela
Akademickie Centrum Komputerowe
Cyfronet AGH
Szkoła Symulacji Systemów Gospodarczych
Kudowa-Zdrój, 21 września 2010
Plan prezentacji
Projekt PL-Grid
Idea Gridu i e-Nauki
Oferta PL-Grid dla naukowców
Wirtualne Laboratorium GridSpace
2
PL-Grid
Projekt finansowany w ramach Programu Operacyjnego
Innowacyjna Gospodarka
Cele:
Utworzyć otwartą ogólnopolska infrastrukturę komputerową wspierająca
uprawianie nauki w sposób umożliwiający integrację danych
doświadczalnych i wyników zaawansowanych symulacji komputerowych
Dostarczyć polskiej społeczności naukowej usług informatycznych
opartych na infrastrukturze komputerowej służących e-nauce w różnych
dziedzinach
Umożliwić dołączanie lokalnych zasobów komputerowych uczelni,
instytutów badawczych, centrów komputerowych czy platform
technologicznych do wspólnej infrastruktury gridowej Europy i świata
Wskaźniki:
Ilość naukowców korzystających z usług PL-Grid (700)
Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)
3
Wyjaśnienie pojęć
Infrastruktura sprzętowa – dedykowane komputery (serwery)
pogrupowane w tzw. klastry, połączone szybką siecią, które są w
stanie wykonywać (równoległe) programy, działająca w
wyspecjalizowanych centrach komputerowych, z zapewniająca
łączność z jej użytkownikami poprzez sieć Internet
Oprogramowanie – programy dla konkretnych domen nauki
przystosowane do pracy na infrastrukturze sprzętowej (np.
umiejące korzystać z możliwości obliczeń równoległych)
współdzielone przez społeczność użytkowników
Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową
wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową
(analogia: elektrownie – sieć energetyczna – gniazdka)
e-Nauka – nauka wspomagana technologiami informatycznymi,
wykorzystująca możliwości obliczeń, gromadzenia, analizy danych
itp. (?)
4
Wyjaśnienie pojęć
Narzędzia – programy komputerowe, portale internetowe itp.
umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej
końcowym użytkownikom oraz wspierające czynności
wykonywane w trakcie przeprowadzania badań naukowych z
użyciem szeroko rozumianych technologii informatycznych
Wirtualne laboratoria – szczególny typ narzędzi stanowiących
środowisko pracy naukowców korzystających z infrastruktury
(gridu) umożliwiający korzystanie z infrastruktury i wielości
dostępnego oprogramowania oraz komponowanie z nich
kompletnych scenariuszy przeprowadzających naukowe
obliczenia od danych wejściowych aż po opracowanie rezultatów
czyli tzw. wirtualnych eksperymentów
GridSpace – wirtualne laboratorium, które rozwijamy w ACK
Cyfronet AGH w ramach projektu PL-Grid
5
Konsorcjum PL-Grid
Akademickie Centrum Komputerowe CYFRONET AGH – koordynator
Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)
Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS)
Centrum Informatyczne Trójmiejskiej Akademickiej Sieci
Komputerowej (TASK)
Interdyscyplinarne Centrum Modelowania Matematycznego
i Komputerowego (ICM)
6
Europejska Inicjatywa Gridowa EGI
7
EGEE
EGEE
Archeology
Astronomy
Astrophysics
Civil Protection
Comp. Chemistry
Earth Sciences
Finance
Fusion
Geophysics
High Energy Physics
Life Sciences
Multimedia
Material Sciences
…
>250 sites
48 countries
>150,000 CPUs
>50 PetaBytes
>15,000 users
>150 VOs
>200,000 jobs/day
Mariusz Sterzel
CGW'08
Kraków, 13 October 2008
88
Oferta PL-Grid
Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP
(5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika nonstop)
Wzrost pamięci dyskowej o ok. 2500 TB (2,5 mln GB, 3571 GB na
użytkownika)
Zestaw zaawansowanych narzędzi do organizacji programów
obliczeniowych, który pomożemy dostosować do indywidualnych
potrzeb
Pomoc w zrozumieniu zagadnień związanych z uruchamianiem
aplikacji naukowych na rozległych zasobach obliczeniowych
Wsparcie technologiczne i informatyczne przy projektowaniu
własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze
PL-Grid
Na dzień dzisiejszy ACK Cyfronet AGH udostępnia
1/5 z tych zasobów w ramach klastra Zeus
9
Dostępne Oprogramowaie
Każda aplikacja środowiska Unix/Linux może być
dostosowana do infrastruktury PL-Grid
Oferujemy:
Pakiety QM
Pakiety MD, MM
AutoDock
Zestaw typowych narzędzi
NAMD, Amber (wkrótce)
Pakiety do dokowania
ADF, Gaussian, Turbomole, GAMESS, Molcas,
kompilatory, biblioteki numeryczne, MPI
Czekamy na propozycje Państwa programów
10
Jak zostać użytkownikiem PL-Grid
Osoba prowadząca działalność
naukową, związana z jednostką
naukową w rozumieniu ustawy z dnia
8 października 2004r. o zasadach
finansowania nauki.
Współpracownicy osoby prowadzącej
działalność naukową (doktoranci,
studenci, współpracownicy zagraniczni)
Jak się zarejestrować?
Procedura w pełni on-line
System rejestracji i zarządzania
kontem użytkownika PL-Grid
https://konto.plgrid.pl/
Wymagany aktualny, własny wpis w
bazie „Ludzie Nauki” OPI bądź wpis
opiekuna naukowego
Weryfikacja zgłoszenia przez stronę
internetową jednostki bądź telefonicznie
Podziękowania:
T. Szepieniec, M. Radecki
11
Co uzyskam dzięki rejestracji w PL-Grid
Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl
Z tej maszyny dostęp do:
gLite – oprogramowanie zapewniające dostęp do gridu
UNICORE – oprogramowanie zapewniające dostęp do gridu
system kolejkowy PBS – oprogramowanie zapewniające dostęp do
własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne
klastry)
•
Pełny dostęp do systemu pomocy „Helpdesk PL-Grid”
Dane o wykorzystaniu zasobów (wkrótce)
System grantów obliczniowych
Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i
harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów,
pamięci itp.) są dostępne
Grant podstawowy
Granty przyznawane
Jedno
konto, jedno hasło wszędzie
Podziękowania:
T. Szepieniec, M. Radecki
12
System pomocy „Helpdesk” PL-Grid
Jeden punkt kontaktu do ekspertów od wszystkich aspektów
działania infrastruktury PL-Grid
Procedury zapewniające przekazywanie spraw (np. w czasie
urlopowym)
Zgłoszenia nie giną i nie są zapominane:
Zgłoszenia tworzone są poprzez:
użytkownik może zgłaszać i śledzić proces rozwiązywania problemu
monitorowanie czasu rozwiązywania sprawy
interfejs graficzny https://helpdesk.plgrid.pl (dla zarejestrowanych
użytkowników)
e-mail [email protected]
Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający
późniejsze śledzenie statusu sprawy
Istotne powiadomienia o stanie problemu wysyłane są e-mailem
Zgłaszającemu
Podziękowania:
T. Szepieniec, M. Radecki
13
www.plgrid.pl
14
Zapraszamy do rejestracji na:
https://konto.plgrid.pl/
15
Motywacja
Złożone aplikacje naukowe działające na
zasobach komputerowych
Bogactwo pakietów oprogramowania
Pliki, bazy danych, …
Eksploracyjne programowanie
Eksperci domenowi (konsultanci)
Programiści aplikacji (producenci)
Końcowi użytkownicy (konsumenci)
Eksplozja zbiorów danych, digitalizacja
danych
Aplikacje (Gaussian, NAMD,…)
Dostępne w sieci usługi – Web Services
Języki skryptowe do przetwarzania danych: Perl,
Python, Ruby
Różne klasy użytkowników
Klastry, gridy, cloud
Odzwierciedlające naturę pracy badacza
Krok po kroku realizowanie kolejnych etapów
obliczeń, gdzie kolejny krok silnie zależy od
wyników poprzedniego
Współdziałanie
Zespoły, społeczności (wirtualne)
1
6
Możliwości
Dostępność niespotykanej do
tej pory mocy obliczeniowej
Metody analityczne → metody
numeryczne
Heurystyki → współbieżne
przeszukiwanie szerszej przestrzeni
rozwiązań
Bardziej szczegółowe modele
Złożone modele
Większe rozmiary problemów
Zrównoleglanie obliczeń
Symulacje wykorzystujące systemy
agentowe
Wsparcie naukowców w
tworzeniu lub adaptacji
istniejącego oprogramowania
Storage
Wsparcie programistów
Szkolenia
Wspólne tworzenie aplikacji
Utrzymywanie aplikacji
Gnuplot
Files
Scientist
Ruby
Bash
Clusters
SSH
Supercomputers
Zakup, utrzymywanie i
udostępnianie
(komercyjnego)
oprogramowania
Szkolenia
Korzystanie z zainstalowanego
oprogramowania
Pisanie własnego
oprogramowania
1
7
Praca z GridSpace2
Experiment Workbench
Portal WWW
Środowisko do
eksploracyjnego
programowania i
uruchamiania aplikacji
(eksperymentu)
Experiment Host
Serwer na którym
wykonywane są
eksperymenty
Infrastruktrura
komputerowa
Klastry, gridy, cloud, na
których wykonuje się
zadania pamięciowo i/lub
obliczeniowo intensywne
1
8
1
9
Experiment Workbench
Binding sites in proteins
Comparison of Services for Predicting
Ligand Binding Sites
Multiple services available on the Web
Conversions between data formats
Visualization scripts (Jmol, Gnuplot)
Single access based on experiments
developed in Virtual Laboratory
Calculation of hydrophobicity profiles
Multiple scales, parameters, input data
Computed using PL-Grid resources –
easy access to Zeus cluster at Cyfronet
Management of experiment results:
~ 1 Million output files
Using semantic integration framework for
metadata management
Collaboration with Department of Bioinformatics and Telemedicine,
Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula
2
0
Analysis of water solutions of aminoacids
Involving multiple steps
realized with many tools,
languages and libraries used
for
Packmol – molecular dynamics
simulations of packing molecules in a
defined regions of space
Jmol – visualization of solution
Gaussian – computing a spectrum of
the solution
Python/CCLIB – extracting spectrum
info
jqPlot – displaying plot
Collaboration with computational chemists of ACC Cyfronet AGH and Department
of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga
2
1
Konkluzje
Dostępność nowoczesnego sprzętu komputerowego,
oprogramowania, metodologii daje nowe możliwości ale też
wymaga „nowego myślenia”
Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim
gardłem w przeprowadzaniu obliczeń
Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i
wielości dostępnego oprogramowania
Potrzeba umożliwienia komponowania kompletnych scenariuszy
przeprowadzających naukowe obliczenia od danych wejściowych
aż po opracowanie rezultatów
Możliwość nowych ekscytujących zastosowań
PL-Grid (w szczególności GridSpace) otwarty i darmowy dla
polskich naukowców
2
2
Referencje
http://www.plgrid.pl
– kompletne źródło informacji o PL-Grid
http://wl.plgrid.pl
– wejdź do Wirtualnego Laboratorium GridSpace
http://dice.cyfronet.pl/gridspace
– dowiedz się więcej na temat technologii GridSpace
Prośba o wspólne uzupełnienie ankiet, które pomogą nam
lepiej spełniać Państwa oczekiwania
2
3