presentation

Download Report

Transcript presentation

Polska Infrastruktura
Informatycznego Wspomagania Nauki
w Europejskiej Przestrzeni Badawczej
PL-Grid i jego Wirtualne Laboratorium
dla nauk społeczno-gospodarczych
Joanna Kocot, Eryk Ciepiela
Akademickie Centrum Komputerowe
Cyfronet AGH
Szkoła Symulacji Systemów Gospodarczych
Kudowa-Zdrój, 21 września 2010
Plan prezentacji




Projekt PL-Grid
Idea Gridu i e-Nauki
Oferta PL-Grid dla naukowców
Wirtualne Laboratorium GridSpace
2
PL-Grid


Projekt finansowany w ramach Programu Operacyjnego
Innowacyjna Gospodarka
Cele:
Utworzyć otwartą ogólnopolska infrastrukturę komputerową wspierająca
uprawianie nauki w sposób umożliwiający integrację danych
doświadczalnych i wyników zaawansowanych symulacji komputerowych
Dostarczyć polskiej społeczności naukowej usług informatycznych
opartych na infrastrukturze komputerowej służących e-nauce w różnych
dziedzinach
Umożliwić dołączanie lokalnych zasobów komputerowych uczelni,
instytutów badawczych, centrów komputerowych czy platform
technologicznych do wspólnej infrastruktury gridowej Europy i świata

Wskaźniki:

Ilość naukowców korzystających z usług PL-Grid (700)

Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)
3
Wyjaśnienie pojęć




Infrastruktura sprzętowa – dedykowane komputery (serwery)
pogrupowane w tzw. klastry, połączone szybką siecią, które są w
stanie wykonywać (równoległe) programy, działająca w
wyspecjalizowanych centrach komputerowych, z zapewniająca
łączność z jej użytkownikami poprzez sieć Internet
Oprogramowanie – programy dla konkretnych domen nauki
przystosowane do pracy na infrastrukturze sprzętowej (np.
umiejące korzystać z możliwości obliczeń równoległych)
współdzielone przez społeczność użytkowników
Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową
wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową
(analogia: elektrownie – sieć energetyczna – gniazdka)
e-Nauka – nauka wspomagana technologiami informatycznymi,
wykorzystująca możliwości obliczeń, gromadzenia, analizy danych
itp. (?)
4
Wyjaśnienie pojęć



Narzędzia – programy komputerowe, portale internetowe itp.
umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej
końcowym użytkownikom oraz wspierające czynności
wykonywane w trakcie przeprowadzania badań naukowych z
użyciem szeroko rozumianych technologii informatycznych
Wirtualne laboratoria – szczególny typ narzędzi stanowiących
środowisko pracy naukowców korzystających z infrastruktury
(gridu) umożliwiający korzystanie z infrastruktury i wielości
dostępnego oprogramowania oraz komponowanie z nich
kompletnych scenariuszy przeprowadzających naukowe
obliczenia od danych wejściowych aż po opracowanie rezultatów
czyli tzw. wirtualnych eksperymentów
GridSpace – wirtualne laboratorium, które rozwijamy w ACK
Cyfronet AGH w ramach projektu PL-Grid
5
Konsorcjum PL-Grid





Akademickie Centrum Komputerowe CYFRONET AGH – koordynator
Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)
Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS)
Centrum Informatyczne Trójmiejskiej Akademickiej Sieci
Komputerowej (TASK)
Interdyscyplinarne Centrum Modelowania Matematycznego
i Komputerowego (ICM)
6
Europejska Inicjatywa Gridowa EGI
7
EGEE
EGEE
Archeology
Astronomy
Astrophysics
Civil Protection
Comp. Chemistry
Earth Sciences
Finance
Fusion
Geophysics
High Energy Physics
Life Sciences
Multimedia
Material Sciences
…
>250 sites
48 countries
>150,000 CPUs
>50 PetaBytes
>15,000 users
>150 VOs
>200,000 jobs/day
Mariusz Sterzel
CGW'08
Kraków, 13 October 2008
88
Oferta PL-Grid





Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP
(5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika nonstop)
Wzrost pamięci dyskowej o ok. 2500 TB (2,5 mln GB, 3571 GB na
użytkownika)
Zestaw zaawansowanych narzędzi do organizacji programów
obliczeniowych, który pomożemy dostosować do indywidualnych
potrzeb
Pomoc w zrozumieniu zagadnień związanych z uruchamianiem
aplikacji naukowych na rozległych zasobach obliczeniowych
Wsparcie technologiczne i informatyczne przy projektowaniu
własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze
PL-Grid
Na dzień dzisiejszy ACK Cyfronet AGH udostępnia
1/5 z tych zasobów w ramach klastra Zeus
9
Dostępne Oprogramowaie


Każda aplikacja środowiska Unix/Linux może być
dostosowana do infrastruktury PL-Grid
Oferujemy:
Pakiety QM


Pakiety MD, MM


AutoDock
Zestaw typowych narzędzi


NAMD, Amber (wkrótce)
Pakiety do dokowania


ADF, Gaussian, Turbomole, GAMESS, Molcas,
kompilatory, biblioteki numeryczne, MPI
Czekamy na propozycje Państwa programów
10
Jak zostać użytkownikiem PL-Grid



Osoba prowadząca działalność
naukową, związana z jednostką
naukową w rozumieniu ustawy z dnia
8 października 2004r. o zasadach
finansowania nauki.
Współpracownicy osoby prowadzącej
działalność naukową (doktoranci,
studenci, współpracownicy zagraniczni)
Jak się zarejestrować?




Procedura w pełni on-line
System rejestracji i zarządzania
kontem użytkownika PL-Grid
https://konto.plgrid.pl/
Wymagany aktualny, własny wpis w
bazie „Ludzie Nauki” OPI bądź wpis
opiekuna naukowego
Weryfikacja zgłoszenia przez stronę
internetową jednostki bądź telefonicznie
Podziękowania:
T. Szepieniec, M. Radecki
11
Co uzyskam dzięki rejestracji w PL-Grid


Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl
Z tej maszyny dostęp do:



gLite – oprogramowanie zapewniające dostęp do gridu
UNICORE – oprogramowanie zapewniające dostęp do gridu
system kolejkowy PBS – oprogramowanie zapewniające dostęp do
własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne
klastry)
•



Pełny dostęp do systemu pomocy „Helpdesk PL-Grid”
Dane o wykorzystaniu zasobów (wkrótce)
System grantów obliczniowych



Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i
harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów,
pamięci itp.) są dostępne
Grant podstawowy
Granty przyznawane
Jedno
konto, jedno hasło wszędzie
Podziękowania:
T. Szepieniec, M. Radecki
12
System pomocy „Helpdesk” PL-Grid



Jeden punkt kontaktu do ekspertów od wszystkich aspektów
działania infrastruktury PL-Grid
Procedury zapewniające przekazywanie spraw (np. w czasie
urlopowym)
Zgłoszenia nie giną i nie są zapominane:



Zgłoszenia tworzone są poprzez:




użytkownik może zgłaszać i śledzić proces rozwiązywania problemu
monitorowanie czasu rozwiązywania sprawy
interfejs graficzny https://helpdesk.plgrid.pl (dla zarejestrowanych
użytkowników)
e-mail [email protected]
Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający
późniejsze śledzenie statusu sprawy
Istotne powiadomienia o stanie problemu wysyłane są e-mailem
Zgłaszającemu
Podziękowania:
T. Szepieniec, M. Radecki
13
www.plgrid.pl
14
Zapraszamy do rejestracji na:
https://konto.plgrid.pl/
15
Motywacja

Złożone aplikacje naukowe działające na
zasobach komputerowych


Bogactwo pakietów oprogramowania






Pliki, bazy danych, …
Eksploracyjne programowanie



Eksperci domenowi (konsultanci)
Programiści aplikacji (producenci)
Końcowi użytkownicy (konsumenci)
Eksplozja zbiorów danych, digitalizacja
danych


Aplikacje (Gaussian, NAMD,…)
Dostępne w sieci usługi – Web Services
Języki skryptowe do przetwarzania danych: Perl,
Python, Ruby
Różne klasy użytkowników


Klastry, gridy, cloud
Odzwierciedlające naturę pracy badacza
Krok po kroku realizowanie kolejnych etapów
obliczeń, gdzie kolejny krok silnie zależy od
wyników poprzedniego
Współdziałanie

Zespoły, społeczności (wirtualne)
1
6
Możliwości

Dostępność niespotykanej do
tej pory mocy obliczeniowej








Metody analityczne → metody
numeryczne
Heurystyki → współbieżne
przeszukiwanie szerszej przestrzeni
rozwiązań
Bardziej szczegółowe modele
Złożone modele
Większe rozmiary problemów
Zrównoleglanie obliczeń
Symulacje wykorzystujące systemy 
agentowe
Wsparcie naukowców w
tworzeniu lub adaptacji
istniejącego oprogramowania




Storage
Wsparcie programistów
Szkolenia
Wspólne tworzenie aplikacji
Utrzymywanie aplikacji

Gnuplot
Files
Scientist
Ruby
Bash
Clusters
SSH
Supercomputers
Zakup, utrzymywanie i
udostępnianie
(komercyjnego)
oprogramowania
Szkolenia


Korzystanie z zainstalowanego
oprogramowania
Pisanie własnego
oprogramowania
1
7
Praca z GridSpace2


Experiment Workbench

Portal WWW

Środowisko do
eksploracyjnego
programowania i
uruchamiania aplikacji
(eksperymentu)
Experiment Host


Serwer na którym
wykonywane są
eksperymenty
Infrastruktrura
komputerowa

Klastry, gridy, cloud, na
których wykonuje się
zadania pamięciowo i/lub
obliczeniowo intensywne
1
8
1
9
Experiment Workbench
Binding sites in proteins

Comparison of Services for Predicting
Ligand Binding Sites





Multiple services available on the Web
Conversions between data formats
Visualization scripts (Jmol, Gnuplot)
Single access based on experiments
developed in Virtual Laboratory
Calculation of hydrophobicity profiles




Multiple scales, parameters, input data
Computed using PL-Grid resources –
easy access to Zeus cluster at Cyfronet
Management of experiment results:
~ 1 Million output files
Using semantic integration framework for
metadata management
Collaboration with Department of Bioinformatics and Telemedicine,
Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula
2
0
Analysis of water solutions of aminoacids

Involving multiple steps
realized with many tools,
languages and libraries used
for





Packmol – molecular dynamics
simulations of packing molecules in a
defined regions of space
Jmol – visualization of solution
Gaussian – computing a spectrum of
the solution
Python/CCLIB – extracting spectrum
info
jqPlot – displaying plot
Collaboration with computational chemists of ACC Cyfronet AGH and Department
of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga
2
1
Konkluzje






Dostępność nowoczesnego sprzętu komputerowego,
oprogramowania, metodologii daje nowe możliwości ale też
wymaga „nowego myślenia”
Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim
gardłem w przeprowadzaniu obliczeń
Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i
wielości dostępnego oprogramowania
Potrzeba umożliwienia komponowania kompletnych scenariuszy
przeprowadzających naukowe obliczenia od danych wejściowych
aż po opracowanie rezultatów
Możliwość nowych ekscytujących zastosowań
PL-Grid (w szczególności GridSpace) otwarty i darmowy dla
polskich naukowców
2
2
Referencje

http://www.plgrid.pl
– kompletne źródło informacji o PL-Grid

http://wl.plgrid.pl
– wejdź do Wirtualnego Laboratorium GridSpace

http://dice.cyfronet.pl/gridspace
– dowiedz się więcej na temat technologii GridSpace
Prośba o wspólne uzupełnienie ankiet, które pomogą nam
lepiej spełniać Państwa oczekiwania
2
3