Transcript ГРИД-технологии и облачные вычисления Кореньков В.В. (ЛИТ ОИЯИ, университет «Дубна») Конференция INTRUS, Дубна, 12.10.2010T.Strizh (LIT, JINR) Концепция Грид «Грид - это система, которая: · координирует использование ресурсов.

ГРИД-технологии и облачные
вычисления
Кореньков В.В.
(ЛИТ ОИЯИ, университет «Дубна»)
Конференция INTRUS, Дубна, 12.10.2010
1
T.Strizh (LIT, JINR)
Концепция Грид
«Грид - это система, которая:
· координирует использование ресурсов при
отсутствии централизованного управления
этими ресурсами
· использует стандартные, открытые,
универсальные протоколы и интерфейсы.
·
обеспечивает
высококачественное
обслуживание»
Cоздание компьютерной инфраструктуры нового
(Ian
Foster:
"What is the grid?
", 2002 г.)
типа,
обеспечивающей
глобальную
интеграцию
информационных и вычислительных ресурсов на
основе управляющего и оптимизирующего
программного обеспечения (middleware) нового
поколения.
Междисциплинарный характер грид: развиваемые
технологии применяются в физике высоких энергий,
космофизике, микробиологии, экологии,
метеорологии, различных инженерных и бизнес
приложениях.
Виртуальные организации (VO)
T.Strizh (LIT, JINR)
Five Emerging Models of Networked
Computing From The Grid





Distributed Computing
• || synchronous processing
High-Throughput Computing
• || asynchronous processing
On-Demand Computing
• || dynamic resources
Data-Intensive Computing
• || databases
Collaborative Computing
• || scientists
Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing
Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids
3
T.Strizh (LIT, JINR)
Грид широко
применяется
•
Физика высоких энергий (LHC, CERN)
•
UK Science Grid
•
TeraGrid
•
HealthGrid (GEMSS, MammoGrid, Pharma Grid, BioGrid, Infogenmed)
•
Молекулярная биологии для моделирования
структуры белка, анализа последовательностей
ДНК
•
Бизнес — нефтяная отрасль, геологоразведка
•
В банковском деле
•
В автомобильной промышленности Grid позволяет
ускорить и удешевить расчет виртуальных
крэштестов
•
Airbus и Boeing используют технологию для
постоянного контроля состояния двигателей и
других агрегатов и узлов самолета показания
датчиков, непрерывно собирающих информацию,
через спутник передаются
на землю, где
T.Strizh (LIT, JINR)
Large Hadron Collider
Start-up of the Large Hadron Collider (LHC), one of the
largest and truly global scientific projects ever, is the
most exciting turning point in particle physics.
CMS
ALICE
LHCb
LHC ring:
27 km circumference
ATLAS
T.Strizh (LIT, JINR)
Параметры детектора АТЛАС
Энергия центра масс 14 TeV
Частота столкновений пучков
40 MHz
Светимость :
•
начальная: 1031 см-2с-1
•
низкая: 2*1033 см-2с-1
•
целевая: 1034 см-2с-1
Вес 7000 тонн,
Диаметр 22м,
Длина 46м
Количество регистрирующих
каналов 140 000 000
6
T.Strizh (LIT, JINR)
SDX1
CERN
computer
6
centre Event rate Local
Data
storage
~ 200 Hz
Storage
SubFarm
Outputs
(SFOs)
DataFlow
Manager
Trigger / DAQ architecture
dual-CPU nodes
~1800
~100 ~ 500
Event
Builder
Event
Filter
(EF)
SubFarm
Inputs
(SFIs)
stores
LVL2
output
Gigabit Ethernet
Event data requests
Delete commands
Requested event data
Regions Of Interest
Event data
pulled:
partial events
@ ≤ 100 kHz,
full events
@ ~ 3 kHz
SDX1
pROS
Network
switches
Network switches
LVL2
Supervisor
Secondlevel
trigger
LVL2
farm
USA15
USA15
~150
PCs
Data of events accepted
1600 by first-level trigger
ReadOut
VME Dedicated links
Links
ReadOut
Drivers
(RODs)
Read-Out
Subsystems
(ROSs)
RoI
Builder
Timing Trigger Control (TTC)
October 31, 2015
Firstlevel
trigger
Event data pushed @ ≤ 100 kHz,
7
1600 fragments of ~ 1 kByte each
T.Strizh (LIT, JINR)
UX15
Потоки данных от физических установок БАК до
вычислительного центра ЦЕРН (Tier 0 at CERN)
8
T.Strizh
(LIT, JINR)
[email protected]
1.25 GB/sec
(ions)
Взаимодействие уровней
Tier 0 – Tier 1 – Tier 2
Tier-0 (CERN):
• Прием данных
• Начальная
реконструкция данных
• Распределение данных
Tier-1 (11 centres):
•Постоянное хранение
данных
•Реконструкция и
обработка
•Анализ
Tier-2 (>200 centres):
• Моделирование
• Физический анализ
T.Strizh
(LIT, JINR)
[email protected]
9
Комната управления СMS (CERN)
T.Strizh (LIT, JINR)
Global
Community
11
T.Strizh (LIT, JINR)
Some history







1999 – Monarc Project
• Early discussions on how to organise distributed
computing for LHC
2001-2003 - EU DataGrid project
• middleware & testbed for an operational grid
2002-2005 – LHC Computing Grid – LCG
• deploying the results of DataGrid to provide a
production facility for LHC experiments
2004-2006 – EU EGEE project phase 1
• starts from the LCG grid
• shared production infrastructure
• expanding to other communities and sciences
2006-2008 – EU EGEE-II
• Building on phase 1
• Expanding applications and communities …
2008-2010 – EU EGEE-III
2010-…- EGI-NGI
T.Strizh (LIT, JINR)
CERN
12
EGEE (Enabling Grids for E-sciencE)
The aim of the
project is to
create a global
Pan-European
computing
infrastructure of
a Grid type.
- Integrate regional
Grid efforts
- Represent leading
grid activities in
Europe
10 Federations,
27 Countries,
70 Organizations
13
T.Strizh (LIT, JINR)
350 sites
55 countries
150,000 CPUs
26 PetaBytes (Disk)
40 PetaBytes (Tape)
>15,000 users
>300 Vos
12 mln jobs/month
Астрономия и астрофизика
Безопасность населения
Вычислительная химия
Вычислительные
науки/Программирование
Физика конденсированного
состояния
Науки о Земле
Синтез
Физика высоких энергий
Науки о жизни
14
T.Strizh (LIT, JINR)
The Map of OSG Sites (in the US)
NERSC
LBL
UDAVIS
STANFORD
UCSB
CALTECH
UCLA
UCR
SDSC
HARVARD
RIT ALBANY MIT
BU
BUFFALO
T
BNL
UWM UMICH WSU CORNELL
MSU
WISC
PSU
FNAL UIC
LEHIGH
UCHICAGOGEORGETOWN
UNI
UNL UIOWA ANL NDPURDUE NSF
UMD
UIUC
IUPUI
UVA
IU
KU
RENCI
ORNL
VANDERBILT
CU
UNM
OU
TTU
UTA LTU
SMU
LSU
UMISS
CLEMSON
UFL
FIT
Ruth Pordes, FNAL
T.Strizh (LIT, JINR)
1
5
EGEE & OSG
WLCG depends on two major science grid infrastructures
EGEE - Enabling Grids for E-Science
OSG
- US Open Science Grid
16
T.Strizh (LIT, JINR)
Collaborating e-Infrastructures
Potential for linking ~90
countries by 2010
17
T.Strizh (LIT, JINR)
European e-Infrastructure
Need to prepare permanent, common Grid infrastructure
Ensure the long-term sustainability of the European e-infrastructure
independent of short project funding cycles
Coordinate the integration and interaction between National Grid
Infrastructures (NGIs)
Operate the European level of the production Grid infrastructure for a wide
range of scientific disciplines to link NGIs
18
T.Strizh
(LIT,
JINR) - Bob Jones - EGEE'08 - 22 September 2008
The
EGEE
project
18
What future holds


ARC consortium (NorduGrid, NDGF, KnowARC et al),
together with gLite and UNICORE, contribute to creation of
the Universal Middleware Distribution (UMD) for the
European Grid Initiative (EGI)
• Sites and VOs that use ARC will get an access
to the European e-Science infrastructure, just
like those that use gLite or UNICORE
What about Clouds?
• Technically, very similar to Grids: distributed, serviceoriented
• However, Clouds business model is closer to that of HPC
 Single administrative domain, carefully selected
resources
19
T.Strizh (LIT, JINR)
The Future of Grids

From e-Infrastructures to Knowledge Infrastructures

Network infrastructure connects
computing and data resources
and allows their seamless
usage via Grid infrastructures

Federated resources and
new technologies enable new
application fields:
• Distributed digital libraries
• Distributed data mining
• Digital preservation of cultural heritage
• Data curation
→ Knowledge Infrastructure
Major Opportunity for Academic and Businesses alike
20
T.Strizh (LIT, JINR)
20
Grids, clouds, supercomputers..
Grids
Grids, clouds,
supercomputers, etc.
Supercomputers
• Collaborative environment
• Expensive
• Distributed resources
• Low latency interconnects
(political/sociological)
• Applications peer reviewed
• Commodity hardware (also
• Parallel/coupled applications
supercomputers)
• Traditional interfaces (login)
• (HEP) data management
• Also SC grids (DEISA, Teragrid)
• Complex interfaces (bug not
feature)
Many different problems:
Amenable to different
solutions
Clouds
Volunteer computing
• Proprietary (implementation)
• Simple mechanism to access
No right answer
• Economies of scale in management
millions CPUs
• Commodity hardware
• Difficult if (much) data involved
• Virtualisation for service provision and
• Control of environment  check
encapsulating application environment
• Community building – people
• Details of physical resources hidden
involved in Science
• Simple interfaces (too simple?)
• Potential for huge amounts of real
work
Mirco Mazzucato DUBNA-19-1221
09
T.Strizh (LIT, JINR)
Ian Bird
21
Концепция «Облачных вычислений»
 Все есть сервис (XaaS)






AaaS: приложения как сервис
PaaS: платформа как сервис
SaaS: программное обеспечение как сервис
DaaS: данные как сервис
IaaS: инфраструктура как сервис
HaaS: оборудование как сервис
 Воплощение давней мечты о компьютерном обслуживании
на уровне обычной коммунальной услуги:
 масштабируемость
 оплата по реальному использованию (pay-as-you-go)
T.Strizh (LIT, JINR)
Software-as-a-Service (SaaS)
Platform-as-a-Service (PaaS)
Infrastructure-as-a-Service (IaaS)
Everything as a Service (XaaS)
T.Strizh (LIT, JINR)
Virtual Laboratory layer.
Grid Layer
T.Strizh (LIT, JINR)
Radiology
Application
DNA-Array
MACS Lab
Application Layer
Some Desktop Grids
World Community Grid - IBM
(http://www.worldcommunitygrid.org/)
300.000 PCs
Leiden Classical Grid - Education on Grid
(http://boinc.gorlaeus.net/) 17.000 PCs
SZTAKI - Hungarian initiative
(http://www.desktopgrid.hu/) 70.000 PCs
AlmereGrid (http://almeregrid.nl) 3.000
PCs
PS3GRID (Based on Playstations)
(http://ps3grid.net/)
T.Strizh (LIT, JINR)
Суперкомпьютер МГУ “Ломоносов”
T.Strizh (LIT, JINR)
Суперкомпьютер МГУ “Ломоносов”
Пиковая производительность
Реальная производительность
Эффективность
Число вычислительных узлов
Число процессоров
Число процессорных ядер
Типы вычислительных узлов
Основной процессор
Оперативная память
Коммуникационная сеть
Система хранения данных
Операционная система
Занимаемая площадь
Энергопотребление вычислителя
420 Тфлопс
350 Тфлопс
83%
4 446
8 892
35 776
T-Blade2, T-Blade 1.1, PowerXCell 8i
Intel Xeon 5570, 2.93 GHz
56,5 ТБайт
QDR Infiniband
1,35 ПБайт
Clusrtx T-Platforms Edition
252 м2
1.5 МВт
T.Strizh (LIT, JINR)
Japan
Courtesy of Satoshi Matsuoka, Tokyo Institute of Technology, Japan, ISC-2010
T.Strizh (LIT, JINR)
The RDIG infrastructure
В настоящее время RDIG –инфраструктура состоит из 17 ресурсных
центров, в которых доступно около 5000 CPU и 3200 TB дискового
пространства.
• RDIG Resource
Centres:
– ITEP
T.Strizh (LIT, JINR)
– JINR-LCG2
– RRC-KI
– RU-Moscow-KIAM
– RU-Phys-SPbSU
– RU-Protvino-IHEP
– RU-SPbSU
– Ru-Troitsk-INR
– ru-IMPB-LCG2
– ru-Moscow-FIAN
– ru-Moscow-GCRAS
– ru-Moscow-MEPHI
– ru-PNPI-LCG2
– ru-Moscow-SINP
- Kharkov-KIPT
- BY-NCPHEP
Структурные элементы грид-инфраструктуры в России
ROC – региональный операционный
центр в России
•
•
•
•
•
•
•
•
Обеспечение функционирования базовых грид сервисов 24х7
Мониторинг и реагирование на черезвычайные ситуации
Учет ресурсов и выполненных работ (accounting)
Управление и поддержка виртуальных организаций
Поддержка безопасности инфраструктуры, CA
Сертификация (валидация) грид ПО
Поддержка пользователей
Операционная поддержка ресурсных центров
VO – виртуальные организации:
• физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb;
PHOTON, HONE …
•
•
•
•
биомед
Fusion
российские VOs: e-Earth (геофизика),
химфизика (Черноголовка, МГУ ++),
T.Strizh (LIT, JINR)
нанотехнологии и наноиндустрия
Russian NGI is e-ARENA
The national association of research and educational е-Infrastructures
«e-ARENA» has been established in August 2009 as a legal body for
coordinating efforts of different organizations in Russian Federation in
creating and developing the e-infrastructures, including networking and
grids, to serve science and higher education.
The e-Arena Association is recognized by the Ministry of Communications
as a legal body for coordination of the e-infrastructure efforts at national
level.
In scope of the EGI stream the Russian NGI include five organizations,
actively participated in the EGEE/EGEE-II/EGEE-III projects:
RRC KI (Moscow), SINP MSU (Moscow), JINR (Dubna), PNPI RAS
(Gatchina) and ITEP (Moscow).
31
T.Strizh (LIT, JINR)
Центральный информационно-вычислительный
комплекс ЦИВК ОИЯИ
Производительность
ЦИВК ОИЯИ составляет
2800 kSI2K
Емкость дискового
хранилища составляет
1068 TB (>1PB)
Scheme of the CICC network
connections
T.Strizh (LIT, JINR)
ОИЯИ в проектах WLCG/EGEE
Протокол между ЦЕРН, Россией и ОИЯИ об участии в
проекте LCG был подписан в 2003 году. MoU об участии в
проеке Worldwide LHC Computing Grid (WLCG) был
подписан в 2007 году.
Задачи ОИЯИ в проектах WLCG/EGEE
Поддержка и развитие WLCG/EGEE инфраструктуры;
Участие в тестировании и сертификации нового
промежуточного ПО (middleware testing/evaluation),
Участие в Data and Service Challenges,
Развитие систем grid мониторинга и учета ресурсов;
Развитие системы FTS-monitoring;
Развитие информационной системы MCDB;
Участие в проекте ARDA;
Развитие приложений в области физики высоких энергий;
Организация обучения пользователей и системных
администраторов
33
Поддержка стран-участниц ОИЯИ в развитии грид-технологий
T.Strizh (LIT, JINR)
USER- INTERFACE AND
VISUALIZATION SERVICE
DEVELOPMENT FOR VIRTUAL
ORGANIZATION SUPPORT IN
HIGH ENERGY PHYSICS
S. Mitsyn (LIT)
LHC Project Support
Grid Monitoring: Deals with
decentralized structures involving a large
amount of data. Its proper
representation is an essential part of the
monitoring process.
Google Earth offers a quite informative
and visually attractive representation
which mapping Grid infrastructure
objects, processes and events on a
geographic map.
34
T.Strizh (LIT, JINR)
JINR CMS Remote Operation Centre
Founded in 2009 as a part of GRID-based JINR Tier-2
Monitoring of detector systems
Data Monitoring / Express
Analysis
Shift Operations (except for run
control)
Communications of JINR shifter
with personal at CMS Control
Room (SX5) and CMS Meyrin
centre
Communications between JINR
experts and CMS shifters
 Coordination of data
processing and data management
Training and Information
35
T.Strizh (LIT, JINR)
Статистика использования CPU time по странам
(июнь 2009 - октябрь 2010)
36
T.Strizh (LIT, JINR)
Статистика по CPU time среди грид-сайтов в
России (июнь 2009 - октябрь 2010)
37
T.Strizh (LIT, JINR)
Grid training and education –
distributed training infrastructure:
gLite user trainings for students of
Dubna University and University Centre
of JINR,
grid site administrators trainings for
JINR member-states,
testbed for grid developers,
testbed for middleware evaluation,
GILDA cooperation
39
T.Strizh (LIT, JINR)
Participation in GridNNN project


Grid support for Russian national nanotechnology
network

To provide for science and industry an effective access
to the distributed computational, informational and
networking facilities

Expecting breakthrough in nanotechnologies

Supported by the special federal program
Main points

based on a network of supercomputers (about 15-30)

has two grid operations centers (main and backup)

is a set of grid services with unified interface

partially based on Globus Toolkit 4
40
T.Strizh (LIT, JINR)
GridNNN infrastructure
10 resource centers at the moment in different regions
of Russia
 RRC KI, «Chebyshev» (MSU), IPCP RAS, CC FEB RAS,
ICMM RAS, JINR, SINP MSU, PNPI, KNC RAS, SPbSU
41
T.Strizh (LIT, JINR)
4-rd International Conference
"Distributed Computing and Grid-technologies in
Science and Education“
28 June – 3 July, 2010
http://grid2010.jinr.ru
T.Strizh (LIT, JINR)
42
Useful References:

Grid Café: http://www.gridcafe.org/

OPEN GRID FORUM: http://www.ogf.org

GLOBUS: http://www.globus.org

TERAGRID: http://www.teragrid.org

Open Science Grid: http://opensciencegrid.org/

LCG: http://lcg.web.cern.ch/LCG/

EGEE: http://www.eu-egee.org

EGEE-RDIG: http://www.egee-rdig.ru

EGI:

International Science Grid this Week: http://www.isgtw.org/
http://web.eu-egi.eu/
43
T.Strizh (LIT, JINR)
The blind men and the
elephant in the room
Cyberinfrastructure
SaaS
SOA
Web 2.0
Shared
Infrastructure/
Shared Services
Grids
Automation
Virtualization
T.Strizh (LIT, JINR)