Transcript Document

БИБЛИОГРИД – ОСНОВНЫЕ ЭЛЕМЕНТЫ
КОНЦЕПЦИИ И РЕАЛИЗАЦИИ
Жучков Алексей Васильевич
Институт химической физики РАН
Автономная некоммерческая организация
«Телекоммуникационный центр «Наука и
общество»
119991 Москва, ул. Косыгина, 4. Тел: (095) 135-7846
ЮМОС СЕГОДНЯ
Коммуникационная и техническая поддержка
Внешняя коннективность
Вычислительные ресурсы
Хранилища информации
Поддержка виртуальных организаций
Поддержка инфраструктуры
открытых ключей
Поддержка ПО Globus Toolkit
Базовые сервисы
Новые грид-сервисы для науки и образования
ГРИД =
Концепция
метакомпьютинга
+ Коммуникации
+ Виртуальные организации
+ Middleware технологии (GT)
- Коммерческий грид (DCGrid,…,Oracle10g)
- Общественный грид (SETI@home,…)
Некоторые особенности грид-технологий
WSFR - симбиоз с Web
VO, в т.ч. динамические
Проблемы
безопасности
Доверительные отношения
разного вида
Аутентификация, в т ч
серверов
Участники взаимодействия получают
полный контроль над ресурсами
Дополнительная
функциональность
Не P2P платформа - виртуализация ресурсов
Авторизация
Конфиденциальность и
целостность данных
Не клиент - серверная платформа
OGSA – сервис – агентная архитектура
Биллинг, в т ч контента
Распределенная платформа
Аудит
Строгое выполнение
обязательств
Отсутствие единого центра управления
Сервисы по требованию
(фабрики)
Отсутствие единого диспетчера
(его цель - выполнять задачи VO)
Виртуализация (доступ не
к серверам а к сервисам)
Гетерогенность ресурсов
Диспетчеризация, а не распараллеливание
Есть круг задач, которые grid позволяет
эффективно решать (с приемлемыми затратами)
Высокая размерность задачи
Для отказоустойчивости и приемлемой
производительности тиражирование
данных и миграция служб или
процессов с одного ресурса на др.
Виртуальные организации
Безопасность = Аутентификация + Авторизация + Биллинг
Грид - решение: Community Authorization Service (CAS)
- Сообщество договаривается о доступе к ресурсам
X.509 сертификаты
- Ресурсы привлекают третьих лиц для проведения авторизации в CAS
Сертификационный центр ЮМОС
• является доверенной стороной
• выдаёт и отзывает сертификаты,
построенные на базе асимметричной
криптографии
• поддерживает репозитории для
действительных сертификатов
• поддерживает списки отозванных
сертификатов
- CAS обеспечивает регистрацию пользователя
- Пользователь, желающий получить доступ к ресурсам, запрашивает у CAS разрешающий мандат
Im
m
un
Ph
olo
ar
gy
m
ac
Sp
o
ac
lo
gy
e
Ne
S
ci e
ur
os
M
nc
i cr
cie
e
ob
nc
io
es
Bi
log
olo
M
&
ol
y
Be
gy
ec
ha
&
ul
ar
vi o
Bi
o
Bi
r
olo c he
m
gy
i st
&
ry
G
en
et
Ec
i cs
olo
P
hy
gy
si c
/E
nv
s
i ro
Cl
nm
in
ic a
l M ent
ed
M
ul
ic i
td
ne
is c
ip
li n
G
eo
ar
y
sc
i
e
Pl
n
ce
an
Ch
s
t&
e
m
An
i
str
im
y
al
M
Sc
at
er
Ec
ie
ia
nc
on
e
om ls S
c
i cs
ien
ce
&
Bu
si n
Ag
es
ri c Eng
s
ul
i
n
ee
tu
ra
l S ri ng
c ie
Ps
nc
M
yc
es
at
ho
he
So
lo
m
gy
at
c ia
/P
ic s
lS
s
y
c ie
ch
ia
nc
try
es
Co
ge
m
ne
pu
ra
te
l
rS
ci e
nc
Ed
e
uc
at
io
n
La
w
Impact
VO RGRID : Вакцины нового поколения
и медицинские диагностические системы
www.rgrid.ru
будущего
1999-… годы
Average Impact by Subject Field 1999-2003
Более 90 организаций,
объединённых в грид-сегмент на базе ЮМОС
6
5
4
3
 Вычисления
(Computing Grid)
 Обработка данных
(Data Grid)
Управление знаниями
(Knowledge Grid)
2
1
0
ELSEVIER
Объединение вычислительных ресурсов
EBI
Databanks
M9 – International
Gateway
…
Institute of
Virusology
Institute of
Immunology
Gateway to
RUNNET
Gateway
to
RUHEP
IITP RAS
…
ITEP
…
…
Windows Cluster
Bioinformatics Centre
EIMB RAS
SINP MSU
…
NRCS/IBMC RAMS
…
…
ICP/IBCP
RAS
FINNIGAN LTQ™ FT
Linux
Cluster
TC Science & Society
Linux Cluster
BRUKER apex-Qe
Institute of Chemical Physics
Linux Cluster
…
IOC RAS
Gateway to
FREENET
Объединение информационных ресурсов
DNA-Vaccines Database@
Institute of Vaccines and Wheys
RAMS
DNA Anti-AIDS Vaccines
Database@ Biomedical
Centre (S.-Petersburg)
Membrane Diagnostic Systems
Database @Bach Institute of
Biochemistry RAS
Viruses Database &Collection@
Institute of Virusology
Virusology & Biotechnology
Databases@ Fed. Research
Center “Vector” (Novosibirsk)
Immune Medicines & Clinical Tests
Databases@ Fed. Research Center
“Institute of Immunology”
Synthetic Vaccines Database
@Shemyakin Institute of
Bioorganic Chemistry RAS
Corporative Knowledge Network
CONTROL CENTER
@ Institute of Chemical Physics
RAS
& more than 15 other databases …
Вычислительные сервисы (результаты)
1)
3,000
700
10
100
2)
3)
?)
Сервис сравнительного анализа нуклеотидных и
белковых последовательностей
Моделирование радиационного повреждения
ДНК
Отсутствие эффективной организации управления данными реально
сдерживает развитие целого ряда технологий распределенных
вычислений, при этом управление данными не может сводиться только к
организации системы управления репликами.
VO BiblioGrid
www.bibliogrid.umos.ru
РГБ
БЕН
ГПНТБ
www.bibliogrid.rgrid.ru
ИНИОН
НЭБ
ГИВЦ Роскультуры
ВГБИЛ
Сельхоз. Библ.
ЮМОС
Библ.по искусству
Мед. Библ.
Педагогич. Библ.
Библ.совет РАН
Библ.институтов Провайдеры контента
и Университетов
в т.ч. подключённые через другие сети
• Показать принципиальную возможность создания ЭБ в грид-среде
• Создать техологическую интеграционную среду, базирующуюся на
распределенных федеративных принципах
• Осуществлять «повсеместный» поиск в гетерогенной среде (БД,в
т.ч.не публичные)
• Создавать новые грид-сервисы для ЭБ (распределённые репозитории
и методанные, мониторинг и биллинг, безопасность)
• Обеспечить технологическое единство с евросредой
Элементы концепции
виртуальные организации
инфоромационные объекты
репозиторий
сервисы
базовые
сервисы
Work Process OGSA-DAI
1a. Request to Registry for sourses of data about “x”
Registry
DAISGR
1b. Registry responds with Factory handle
SAC
2a. Request to Factory for access to database
2c. Factory returns handle of GDS to client
Factory
GDSF
Container
2b.
Factory
creates
GDS to
manage
access
3a. Client queries GDS with SQL, Xpath, Xquery etc.
User
3c. Results of query returned to client as XML
OR
3d. Results of query delivered to cosumer as XML
Grid Data
Servise
GDS
3b. GDS interacts with
database
Consumer
GRID area
OGSA-DAI
Database
(Xindince,
MySQL,
Oracle, DB2)
Work Process Library Bibliogrid Proxy Service
1a. Request to Registry for sourses of data
SAC
1b. Registry responds with Factory handle
Registry
&
Users Account List
2a. Request to Factory for access to database for user
2c. Factory returns handle of GDS to client
Proxy
Service
Container
activator
Factory
Library Proxy
Service
2b.
Factory
creates
LPS to
manage
access
3a. Client queries LPS with XML-HTML
User
GUI
OR
3c. Results of query returned to client as XML-HTML
3d. Results of query delivered to cosumer as XML-HTML
Library
Proxy
Service
3b. LPS interacts with
database
Logging
Service
DL
Globus (Windows)
Globus Environment (Linux)
Work Process MetaData Service
1a. Request to Registry for sourses
of data or metadata
1b. Registry responds with Factory handle
Registry
SpecMetoDataServ
Registry
DAISGR
2a. Request to Factory for access to database for user
2c. Factory returns handle of SMDS or GDS to client
Application
Factory
SMDS
Container
User
GUI
servise
Factory
GDSF
3a. Client queries SMDS, GDS with SQL, Xpath, Xquery etc.
3c. Results of query returned to client as XML
3d. Results of query delivered to cosumer as XML
Logging
And
Billing
Service
Spec
MetoData
Service
3b. SMDS interacts
with DL
DL of
XML
MetaData
Globus (Windows)
2b.
Factory
creates
Globus Environment (Linux)
Grid Data
Servise
GDS
3b. GDS interacts with
database
Database
(Xindince,
MySQL,
Oracle, DB2)
Высокоуровневые грид-сервисы
•Сервис репозитория ИО в стандарте METS
(Metadata Encoding and Transmission Standard)
Стандарт для кодирования описательных, административных и структурных метаданных для
ИО в составе ЭБ, основывающийся на языке XML schema, в рамках инициативы федерации
электронных библиотек (Digital Library Federation). Поддерживается подразделением
Библиотеки Конгресса Network Development and MARC Standards Office.
семантические модели понятийной сети и модели вычислительных процессов
 описание собственных и внешних информационных ресурсов и часть ресурсов
(регламент получения и обновления информации; формат данных и способ доступа к ним; состав ИО, описанный в терминах
модели и способ ее хранения в источнике; способы идентификации ИО в источнике; первоисточник информации об объекте или
отдельных его атрибутах и др.)
 описание компонентов самого метахранилища
 каталог Grid/Web-сервисов [WSDL (Web Services Description Language)]
•Library Bibliogrid Proxy Service + ZING
•GDQS
(New Z39.50)
(The Grid Distributed Query Service) высокоуровневый
интеграционный сервис от OGSA-DAI, поддерживающий OQL в
качестве сквозного языка запросов.
•G-ONTOLOGY
Грид – технология семантического связывания
разнородных ИО, основанная на стандартах построения
онтологий и языке OWL (Web Ontology Language)
G-Ontology - a package of user-friendly tools for
ontology-based work in VO
Concepts and Links are
easy to create, look through,
operate and modify
Concepts & Links
handling options
List of
concepts
Description
of concepts
G-Ontology - facilitate collaborative work in the VO
Ontology a
Ontology c
Ontology d
Ontology b
corporative ontology
Ontology a
Library of
ontologies
Ontology b
G-Ontology - an effective tool for ontology-based work in
Virtual Organization with heterogeneous sources
Multilingual
support
Appropriate database
window opens according to
selected concept
flexible syntaxes for
Concept-Data sources links
G-Ontology for ontology-based work in with diverse data
Заключение
• ECDL2005
• ЭБ необходимы в Grid среде, среде VO, ориентированной
прежде всего на высокопроизводительные вычисления
•, где ЭБ рассматриваются прежде всего как среда обработки
данных
• Виртуально, распределенно, гетерогенно, федеративно
• Использование большого числа готовых решений базового
middleware для построения ЭБ
• Работы в рамках данного проекта можно рассматривать и как
создание и развитие
создания ЭБ (GT 4.01)
•
Сотрудничество
среды программирования
для
БИБЛИОГРИД - прекрасный полигон для выбора, создания и
опробации информационных сервисов (Grid\Web), в том числе
работающих в БД и коллекциях, не имеющих публичного
доступа
БИБЛИОГРИД – ОСНОВНЫЕ ЭЛЕМЕНТЫ
КОНЦЕПЦИИ И РЕАЛИЗАЦИИ
Жучков Алексей Васильевич
Институт химической физики РАН
Автономная некоммерческая организация
«Телекоммуникационный центр «Наука и
общество»
119991 Москва, ул. Косыгина, 4. Тел: (095) 135-7846