Transcript Какво са Грид системите? Enabling Grids for E-sciencE Mike Mineter

Enabling Grids for E-sciencE
Какво са Грид системите?
Mike Mineter
Training Outreach and Education
National e-Science Centre, UK
[email protected]
www.eu-egee.org
EGEE-II INFSO-RI-031688
Съдържание
Enabling Grids for E-sciencE
• Въведение в
– e-инфраструктурата
– e-изследванията и e-науките
• Някои примери от проекта EGEE
– EGEE: Работа на Гридове за е-науките (Enabling Grids for EsciencE)
– EGEE е проект, финансиран от ЕС, който се изпълнява на
най-големия международен Грид
• Концепции на Грида
• Гридове – Къде сме в момента?
EGEE-II INFSO-RI-031688
2
Науки с големи по обем изчисления
Enabling Grids for E-sciencE
• Много важни предизвикателства
изискват усилия на обществеността
–
–
–
–
Фундаменталните свойства на материята
Геномите
Изменението на климата
Медицинска диагностика
• Изследванията са с цифрови данни, с
увеличаващи се обеми от данни
• Пресмятанията постоянно изискват
повече изчислителна мощ
напр.: експерименталните науки
използват все по-сложни сенсори
– Огромни количества от данни
– Служи на обществата по целия свят
– Международни сътрудничества
EGEE-II INFSO-RI-031688
3
e-инфраструктури
Enabling Grids for E-sciencE
‘e-науката е за всеобщо сътрудничество в
ключови области на науката и за следващото
поколение инфраструктура, която ще направи
възможно това сътрудничество.’
John Taylor
Director General of Research Councils
Office of Science and Technology
UK
e-инфраструктура = мрежи + Гридове
– Мрежово свързани ресурси
– Гридовете позволяват “виртуални изчисления” в
различни административни домейни
EGEE-II INFSO-RI-031688
4
e-наука: поканата
Enabling Grids for E-sciencE
Сътрудничество
във “виртуалните
изчисления”
Сътрудничат си
Хора с общи цели
EGEE-II INFSO-RI-031688
Общи данни, компютри, софтуер
Стават възможни чрез Гридове:
•национални,
•регионални (BalticGrid),
•международни: EGEE грид
Ел. поща
Обмен на файлове
ssh достъп за изпълнение на програми
Стават възможни чрез мрежи:
•национални,
•регионални и
•международни: GEANT
5
“e-наука” и “e-изследвания”
Enabling Grids for E-sciencE
• Съвместни изследвания, благодарение на общите
интернет ресурси (данни, инструменти, изчисления,
човешка експертиза...)
–
–
–
–
Преминава организационни граници
Често е с интензивни изчисления
Често е с много данни
Понякога се налага мащабно сътрудничество
• Ранни примери в науката: “е-наука”
• Връзка на “е-научни технологии” с новите
потребителски общества (социални науки, изкуства,
хуманитарни дисциплини) обуславят появата на
термина “е-излседвания”
EGEE-II INFSO-RI-031688
6
Физика на елементарните частици
Enabling Grids for E-sciencE
• Големи количества данни
• Мащабно сътрудничество за целия свят
• Ресурсите за изчисления и управление на данните са
разпределени в целия свят, като се притежават и
управляват от различни организации
• Големият ускорител в
(Large Hadron ColliderLHC) CERN, Женева,
Швейцария:
Mont Blanc
(4810 m)
Downtown Geneva
– Един от най-мощните
инструменти създаден от
хората за изследване на
материята
EGEE-II INFSO-RI-031688
7
LHC експерименти
Enabling Grids for E-sciencE
ATLAS
CMS
~10-15 PetaBytes /година
~108 събития/година
~103 групови и индивидуални потребители
LHCb
EGEE-II INFSO-RI-031688
8
Биомедицински приложения
Enabling Grids for E-sciencE
Биомедицинската общност и Грид, EGEE потребителски форум,
1 март 2006, I. Magnin
EGEE-II INFSO-RI-031688
10
Управление на данни – медицински
изображения
Enabling Grids for E-sciencE
Биомедицинската общност и Грид, EGEE потребителски форум,
1 март 2006, I. Magnin
EGEE-II INFSO-RI-031688
11
Приложения за Земята
Enabling Grids for E-sciencE
•
Наблюдения на Земята от
сателит
– За озоновия слой
•
Физика на твърдата Земя
– Бързо откриване на механизмите
– на големи земетресения
•
Хидрология
– Управление на водните ресурси
в Средиземноморието (SWIMED)
•
Геология
– Геоклъстър: R&D инициатива на
Compagnie Générale de
Géophysique
 Много и различни приложения,
които да се изпълняват върху
EGEE
EGEE-II INFSO-RI-031688
13
Най-новото приложение на EGEE :
археологията
Enabling Grids for E-sciencE
Лабораторни
измервания
БД
Геоархеология
БД
Археология
Климатология
БД
Археологическа
библиография
БД
Археологически
обекти
БД
Симулация/VR
БД
археология
средства за масова информация
туризъм
Културно наследство
Изображения
БД
Текстови
файлове
БД
Археология
Зоология/Ботаника
БД
Археоложки ГИС
Използване на земята
ArchaeoGrid
P.G.Pelfer, EGEE User Forum, March 1-3, 2006
EGEE-II INFSO-RI-031688
14
Грид метафората
Enabling Grids for E-sciencE
Мобилен
достъп
Г
Р
И
Д
Работна
станция
M
И
Д
Ъ
Л
У
Е
Ъ
Р
Суперкомпютър, ПК-клъстър
Съхранение на данни, сензори,
експерименти
визуализация
Интернет, мрежи
EGEE-II INFSO-RI-031688
15
Гридове: основа за e-излседвания
Enabling Grids for E-sciencE
• Става възможен цялостен подход
• Предизвикателство към въображението
• Ефект > Σчастите
компютри
софтуер
Грид
Сензорни
мрежи
инструменти
Диаграма на базата на
слайд на Ян Фостер
EGEE-II INFSO-RI-031688
колеги
Архиви с общи
данни
17
“Ефект > Σчасти”
Enabling Grids for E-sciencE
• Гъвкава и опростена съвместна работа на
ресурсите, с които се разполага за сътрудничество
– Преминават границите на административни домейни
– Абстракциите прикриват детаилите на индивидуалните
ресурси
 Съобразяване с Грид процедурите за полза
– Оперативни услуги (хора и софтуер)
• По-голямо оползотворяване
– Споделяне на ресурсите при сътрудничеството
– Споделени общи ресурси
 Всеки има полза от
• Хетерогенността
• Мащабността
EGEE-II INFSO-RI-031688
18
Enabling Grids for E-sciencE
Грид концепции
EGEE-II INFSO-RI-031688
19
Виртуални организации и гридове
Enabling Grids for E-sciencE
• Какво е Вирутална Организация?
– Хора в различни организации, които желаят да си сътрудничат
и да споделят ресурси през техните организационни граници
– Напр. научно сътрудничество
• Всеки грид е инфраструктура, която позволява една или
повече “виртуални организации” да имат общ достъп до
ресурсите
• Всеки ресурс е на разположение на грида чрез абстракция,
която маскира хетерогенността, напр.
– Различни хетерогенни изчислителни платформи
– Различни ресурси данни
• Ресурсите се притежават от ВО (в EGEE някои гридове
също имат централизирано обеспечаване). ВО делят
ресурсите на базата на проведени преговори
EGEE-II INFSO-RI-031688
20
Типичен съвременен грид
Enabling Grids for E-sciencE
• Виртуални
организации се
договарят със
сайтове за достъп
до ресурси
• Грид мидълуер се
изпълнява на всеки
общ ресурс, като
осигурява
INTERNET
– Услуги данни
– Излислителни
услуги
– Единичен вход
• Разпределените
услуги (хората и
мидълуер) правят
работата на грида
EGEE-II INFSO-RI-031688
21
Многото нива на гридовете
Enabling Grids for E-sciencE
Национални
центрове за данни,
HPC, инструменти
Данни на
институтите;
Кондор
области,
клъстери
EGEE-II INFSO-RI-031688
По-широко
сътрудничество
повече ресурси
Международни инструменти,..
Международен грид (EGEE)
Регионални гридове
(напр. BalticGrid)
Национални гридове
Кампус гридове
компютър
22
Работа на ВО
Enabling Grids for E-sciencE
Приложение
Приложни програми,
стандарти
Грид услуги на високо ниво
(брокерство, ...
Основни Грид услуги: АА,
предоставяне на задача, инфо, …
Срещата на компютърните науки с
обществата с приложения!
Специфични развития на ВО:
– Портали
– Виртуални изследователски
среди
– Семантика, онтология
– Работен поток
– Регистри на ВО услуги
Производствени гридове
осигуряват тези услуги.
EGEE-II INFSO-RI-031688
23
Пример на услуга от високо ниво-1:
GANGA
Enabling Grids for E-sciencE
•Ганда (Ganga) е “леко”(lightweight)
потребителско средство - ganga.web.cern.ch/
• Заедно с това Ganga е средство за развитие
EGEE-II INFSO-RI-031688
24
Пример – Биомедицински приложения
Enabling Grids for E-sciencE
Biomedical community and the Grid, EGEE User Forum, March 1st 2006, I. Magnin
EGEE-II INFSO-RI-031688
25
Пример на поток от задания
Enabling Grids for E-sciencE
Biomedical community and the Grid, EGEE User Forum, March 1st 2006, I. Magnin
EGEE-II INFSO-RI-031688
26
Enabling Grids for E-sciencE
Ако “Грид”
визията ни води
тук…
… къде сме сега?
EGEE-II INFSO-RI-031688
27
Грид: къде сме сега?
Enabling Grids for E-sciencE
• Много ключови концепции са идентифицирани и са известни
• Разработени са редица грид проекти, в резултат на което има
ползи от
– Засилено сътрудничество
– Ползване на общи ресурси
• Полагат се големи усилия за създаване на:
– Промишлени Гридове за множество ВО
 “Промишлени” = Надеждни, устойчиви, без компромиси за качеството
на услугите
 Всеки от тях има
• Един стек мидълуер, който обслужва няколко научни общности
• Установени действащи процедури и организация
 Предизвикателство за EGEE-II: да се обединят тези гридове!
– Стандарти (бавен процес)
 Напр. Отворен (бивш Глобален) Грид Форум, http://www.gridforum.org/
 Разширяване на уеб услугите…. петък следобед!
– Разширяване на изследователските общества
 Изкуства и хуманитарни дисциплини, социални науки …
EGEE-II INFSO-RI-031688
28
Сигурност и доверие в Грид
Enabling Grids for E-sciencE
• Подсигуряващите ресурси (компютри, бази данни,...) трябва
да избегнат рискове: от тях се изисква да се доверяват на
потребители, които те не познават
– Вярват във ВО
– ВО вярва на своите членове
• Нужди на потребителите
– Единствен вход: да бъде възможен вход в машината, която да
предава идентичността на потребителя на други ресурси
– Да вярва собствениците на ресурсите, които използва
• Да изгради мидълуеър на ниво, което дава:
– Идентифициране: знае кой иска да ползва ресурса
– Идентифициране : знае правата на потребителя
– Сигурност: да намали уязвимостта – т.е. извън файеруала
– Без отхвърляне: да се знае кой какво прави
• Мидълуерът “Инфраструктурата за Грид сигурност” е
основата на (повечето) промишлени гридове
EGEE-II INFSO-RI-031688
29
Национални грид инициативи днес
включват…
Enabling Grids for E-sciencE
CroGrid
EGEE-II INFSO-RI-031688
30
Обобщение: какво са грид изчисления?
Enabling Grids for E-sciencE
• Гридове: виртуални
изчисления през няколко
административни домейна
– Данни
– Изчисления
– Сътрудничество
• Организиране на услуги,
които подържат
– изследвания, диагностика,
инженерни задачи,
обществени услуги,..
– Оползотворяване и общо
ползване на ресурси
EGEE-II INFSO-RI-031688
Грид
Работа, подръжка и
обучение
сътрудничество
Мрежова
инфраструкт
ура &
Ресурсни
центрове
31
Още материали
Enabling Grids for E-sciencE
• Отворен Грид Форум http://www.ggf.org/ (виж GGF16
за много добри презентации)
• Грид кафе www.gridcafe.org
• Грид днес http://www.gridtoday.com/
• Globus Alliance http://www.globus.org/
EGEE-II INFSO-RI-031688
32