Transcript Presenter: Remove this page prior to use

®
IBM Software Group
DB2 Information Integrator Software
Марк Ривкин IBM EE/A
IBM Software Group | DB2 Information Management Software
Виды интеграции
 Интеграция интерфейсов - Portal
 Интеграция приложений - WS BI Server
 Интеграция данных
 Хранилища данных
 Information Integrator
7/20/2015
2
IBM Software Group | DB2 Information Management Software
Два подхода к интеграции данных
 Консолидация данных для локального доступа (DW)
 Высокая производительность и доступность (HA) при централизации данных.
 Нужны не самые свежие, а согласованные на данный момент времени данные
 Для семантической согласованности данных нужны сложные преобразования (ETL)
 Production applications, data warehouses, operational data stores
 Обычно используется ETL (Extract, Transform, and Load) или репликация
 Нужны исторические данные
 Большие объемы данных
 Структурированные данные
 Интегрированный доступ к распределенным источникам (II)
 Производительностью доступа и загрузки можно пожертвовать в угоду простоте и снижению цены
 Нужны самые свежие данные
 Политики безопасности, лицензирования или внутренние правила ограничивают возможность
перемещения данных
 Смешение форматов данных, например customer ODS и контрактные документы или изображения
 Данные нужны редко и нет смысла их хранить в DW
 Наибольшие выгоды – при комбинации обоих подходов
7/20/2015
3
IBM Software Group | DB2 Information Management Software
DB2 Information Integrator - “Зонтик”
Федеративный сервер данных – Работать с распределенными данными
так, как будто они находятся в одном источнике данных
 Описать интегрированный взгляд на разнотипные распределенные данные
 Широкий диапазон источников данных и контента
 Расширяемость на любые источники данных
 Запросить как бы из единого источника
 Использовать стандартные SQL запросы и SQL выражения
 Использовать контекстный поиск
 Реализовать специализированные функции в SQL
Integrated SQLView
 Использовать оптимизацию запросов и хэширование
 Работать с XML документами
 Комбинировать различные источники
 Использовать DTDs или XML схемы
 Единый источник, реляционное обновление
DB2, Oracle, SQL Server, Sybase, Teradata, OLE DB, ODBC, Excel, XML, message queues, Web
services, flat files, document repositories, content repositories, LDAP directories, WWW, email
databases, and more.
7/20/2015
4
IBM Software Group | DB2 Information Management Software
Сценарии использования II
Business Intelligence
Portal
 Расширение данных
хранилища свежими
данными
 Единый интерфейс
к разным
источникам
 Взгляд на все
данные
предприятия
 Доступ к старым
данным
 Непрерывное
пополнение DW
свежими данными
7/20/2015
 Единые портлеты
Migration/Coexist
 Слияние и
приобретение
 Миграция между
БД
 Синхронизация
БД
 Единый поиск
5
IBM Software Group | DB2 Information Management Software
Расширение Data Warehouse оперативными данными
DB2 z/OS
SQL
Historical Data
Data Warehouse
Federated
Server
Analysis
Transformation
Optimize query
Cache
7/20/2015
SQL Server
Real-time Data
Operational Data Store
6
IBM Software Group | DB2 Information Management Software
Обеспечение единого взгляда на данные компании
 Обеспечение единого взгляда на клиентов и контракты, хранящиеся в
разных системах
 Доступ к данным на месте хранения – не надо их копировать
Oracle
SQL
Financial Services
Federated
Server
Analysis
Transformation
Optimize query
Cache
Sybase
Retail Bank
Документы, контракты, текущая инф
7/20/2015
7
IBM Software Group | DB2 Information Management Software
Ускорение разработки портала
Обеспечение доступа приложениям портала к множеству
структурированных и неструктурированных источников данных
Упрощение разработки и сопровождения
Oracle
SQL
Account Status
Federated
Server
Analysis
Transformation
Optimize query
Cache
Reference Documents
E-mail
Логика в одном месте
7/20/2015
8
IBM Software Group | DB2 Information Management Software
Сосуществование различных СУБД
Analysis
Transformation
Optimize query
Cache
 Приложения прозрачно
работают с несколькими
СУБД на этапе
сосуществования и
миграции
Federation
Server
DB2 UDB
Strategic Store
Oracle, IMS
Replication
Server
Consolidation
Transformation
Manage Copies
7/20/2015
Legacy Store
 Репликация для
синхронизации данных
9
IBM Software Group | DB2 Information Management Software
IBM DB2 Information Integrator обеспечивает:
Federate
Place Transform
Information
IntegrationPublish
7/20/2015
Metadata management and interchange

Виртуализацию данных
 Стандартные языки доступа
• SQL, XQuery, Content, Search
 Доступ на чтение/запись к различным источникам
данных и контента
 Расширение доступа

Data placement
 Кэширование, извлечение и загрузка, репликация
разнородной информации

Преобразование данных






Контроль качества данных
Data analysis and mining
SQL, XML, Web services
Advanced search
Управление метаданными
Data publishing
 Publishing changed data events from diverse sources
 MQ интеграция
 WebSphere business integration
IBM Confidential
10
IBM Software Group | DB2 Information Management Software
Федеративный доступ к распределенным данным
DB2 UDB
DB2 UDB
on MVS
Integrated SQL View
DB2 Information Integrator
VSAM
DB2 II Classic
Federation
IMS
O
D
B
C
Software AG
Adabas
Sybase
SQL, SQL/XML
Federation Engine
Informix
Wrappers and functions
SQL Server
CA-Datacom
…
Ne
w
CA-IDMS
Oracle
Teradata
Package
d apps
Web services
7/20/2015
Biological
Data and
Algorithms
IBM
Extended
Search
Text
XML
Excel
WebSphere MQ
WWW, email,…
ODBC
11
IBM Software Group | DB2 Information Management Software
 Data sources accessible by IBM Lotus Extended Search:
Lotus Notes, Lotus Domino.doc, Lotus Discovery Server, Lotus
QuickPlace, Lotus Sametime
 IBM WebSphere Portal Search Engine, Microsoft Index Server,
Microsoft Site Server, Microsoft Exchange, LDAP Directories,
 18 Web search engines (Yahoo!, Lycos, Excite, HotBot, Google, Alta
Vista, ABCNews.com, AOL.com Search, Business Wire, CNN,
Canada.com, EuroSeek, FAST Search, GoTo.com, NBCi, PR
Newswire WebCrawler, and Yahoo News)
 Documentum, FileNet, DB2 Content Manager
7/20/2015
12
IBM Software Group | DB2 Information Management Software
Federated Sources
SQL
SQL
Mainframe
databases
Mainframe
files
IMS
VSAM
Adabas
Sequential
CA-Datacom
CA-IDMS
Content
Relational
databases
DB2 UDB
Informix
Oracle
Sybase
Teradata
Microsoft
SQL
Server
ODBC
XML
Web services
Packaged
applications
WebSphere
BI Adaptors
SAP
PeopleSoft
Siebel
Web
Other
Collaboration
Systems
OLE DB
Excel
Flat files
IBM Lotus
Extended
Search
Web
search
 LDAP
Custom-built
Lotus Notes
Microsoft
Index Server
IBM Lotus
Extended
Search
Sametime
QuickPlace
Microsoft
Exchange
Content
& Imaging
Workflow
systems
DB2 CM WebSphere
Family
FileNet
Domino.doc
Documentum
FileNet
Open Text
Stellent
Interwoven
Hummingbird
Дополнительно инструменты BP предоставляют доступ к большему кол-ву источников
7/20/2015
13
IBM Software Group | DB2 Information Management Software
Концепции
Глобальный каталог
Системные таблицы
MQTs
Пользовательские данные
7/20/2015
Nickname
Локальные данные:
Server
Nickname
Использует инф о:
Статистике источника
Индексах источника
Функциях источника
Скорости сервера и сети
Nickname
Global optimizer
Server
Wrapper
Wrapper: библотека,
обеспечивающая доступ к
отдельному классу
источников данных или
протоколов (Net8...).
Содержит информацию о
характеристиках
источника
Server: представляет
конкретный источник
данных
Nickname: локальный
алиас для образа данных,
размещающихся на
удаленном сервере
(отображенных в строки и
колонки)
14
IBM Software Group | DB2 Information Management Software
Wrappers
 Выполняют 4 основные задачи:
ƒ Моделирование данных
– Отображают исходную модель данных в реляционную модель
данных (таблицы с строчками и столбцами)
– Отображают функции в SQL операции
ƒ Планирование запроса
– Предоставляют информацию об источнике
– Выталкивают на источники как можно больше работы
– Определяют функции, отсутствующие на источнике (их
компенсирует II)
– Обеспечивают информацию для оптимизатора (cost and cardinality)
ƒ Connection and transaction management
ƒ Выполнение запросов и извлечение данных
– Выполняют части запроса пользователя на различных источниках
данных
7/20/2015
15
IBM Software Group | DB2 Information Management Software
Nicknames, Push down and Compensation
S
E
L
E
C
T
n
a
m
e
,
i
d
F
R
O
M
g
l
o
b
a
l
_
m
o
l
e
c
u
l
e
s
S
Q
L
A
P
I
(
J
D
B
C
/
O
D
B
C
)
O
r
a
c
l
e
D
a
t
a
D
a
t
a
S
o
u
r
c
e
Wrapes
D
a
t
a
b
a
s
e
A
p
p
l
i
c
a
t
i
o
n
F
e
d
e
r
a
t
e
d
S
e
r
v
e
r
c
l
i
e
n
t S
E
L
E
C
T
M
.
n
a
m
e
,
T
.
s
c
o
r
e
F
R
O
M
M
o
l
e
c
u
l
e
s
M
,
T
e
s
t
s
T
W
H
E
R
E
M
.
i
d
=
T
.
i
d
A
N
D
T
.
s
c
o
r
e
>
5
0
A
N
D
T
.
t
y
p
e
=
'
C
A
N
C
E
R
'
C
a
t
a
l
o
g
D
a
t
a
M
O
L
E
C
U
L
E
S
(инф о молекуле)
0
0
0
0
1
|
5
1
|
C
A
N
C
E
R
0
0
0
0
2
|
4
0
|
C
A
N
C
E
R
0
0
0
0
4
|
8
5
|
C
A
N
C
E
R
0
0
0
0
3
|
7
0
|
M
I
G
R
A
I
N
E
.
.
.
.
.
.
.
(результаты тестов)
T
E
S
T
S

Push down обработку данных, чтоб улучшить
производительность

7/20/2015
Компенсация для пропущенной функции (sort)
16
IBM Software Group | DB2 Information Management Software
Администрирование – Control Center
 Create nickname wizard
 Помогает создать nickname
 Выбирает/создает wrapper, server, nickname
 Create cache table wizard
 Помогает создать кэш таблицы.
 Выбирает/создает nickname, cache table и конфигурирует
репликацию
 Export/ Deploy
 Запоминает действия control center и записывает их в скрипт.
Позволяет редактировать скрипты и выполнять их в Task
Center
 Monitoring
 Мониторит набор nicknames, чтобы определить изменения в
схеме данных, которые могут повлиять на эти описания
nickname
 Определяет состояние серверов (работает или недоступен)
 Обновляет статистику
 Запускает по расписанию обновление статистики для
nickname
 Server discovery
 Конфигурирование II
7/20/2015
17
IBM Software Group | DB2 Information Management Software
Обработка запросов к федеративным данным
 Разбор и семантика
 Query Rewrite
ƒ Трансформация запроса на основе эвристик и знаний об источнике
 Pushdown Анализ
ƒ Анализирует как декомпозировать запрос
 Cost-Based Optimization
ƒ Генерирует оптимальный план выполнения запроса, используя знания
об источнике: database statistics, indexes, source functions, server
capacity, network capacity
 Генерация SQL
ƒ Производит эффективный для конкретного источника данных SQL
(для SQL источников)
 Выполняет запрос над локальными и распределенными данными
 Выполняет компенсацию функций и virtual database view
7/20/2015
18
IBM Software Group | DB2 Information Management Software
Гетерогенное кэширование
 Улучшает производительность и надежность
выполнения запроса
 Администратор описывает Materialized Query
Table
 Заранее вычисленные или часто используемые
значения
User Application
Write
Read
Read
 Любые данные из федеративных реляционных
источников
A B C
 Неявное или явное использование (automatic
routing)
 Разработчик включает использование кэша
 Если включено – читает из кэша, пишет в источник
 Если выключено – работает напрямую с источником
 Обновление кэша:
 Вручную
A
B
C
DB2
Microsoft
 Репликация
 Различные стратегии обновления задаются при
проектировании
7/20/2015
19
IBM Software Group | DB2 Information Management Software
DB2 Information Integrator OmniFind Edition
New
 Быстрый ответ
 Сложные алгоритмы для корпоративного контента
• Intranet, file systems, collaboration systems, content managers, and databases
 Stemming, lexical analysis, anchor point analysis, dynamic summary, highlighted text
 Легко встраивается в приложения
 Java APIs
 Document level security
GO
 Может работать с большими объемами
 500K документов и более
 Тысячи одновременных пользователей
7/20/2015
Crawl
Index
Search
20
IBM Software Group | DB2 Information Management Software
OmniFind Crawlers
New
 Web content
 HTTP/HTTPS
 News groups (NNTP)
 WebSphere Portal web content sources
 Collaboration
Crawlers
Web
Web
News
NNTP
Information
Integrator
DB2 II
 Lotus Notes databases
DB2 CM
 MS Exchange public folders
Domino
 File systems
 Content management systems
PDM
Other IBM
Sources
 DB2 Content Manager
 Relational Data sources
 DB2 family (DB2, Informix, DB2 for z/OS)
 DB2 Information Integrator relational data
sources (Oracle)
Exchange
Oracle
DB2 CM
Notes
WPS
IBM
Servers
MS
Exchange
Unix File
File
Servers
Unix File
Servers
3rd party
Other
Win File
DB2 for
z/OS
Informix
Data Listener
Custom
Crawler
7/20/2015
21
IBM Software Group | DB2 Information Management Software
DB2 Information Integrator 8.1
A Replication Server
 Реплицирует данные между реляционными
СУБД
 DB2, Informix, Microsoft, Oracle, Sybase, Teradata
 Поддерживает гибкие топологии
DB2
 Дистрибуция: один ко многим
 Консолидация: многие к одному
 Различные режимы репликации
 Table-at-a-time (потабличный) для пакетной загрузки DW
в ограниченное время
Microsoft
Microsoft
 Транзакционно-консистентный для оперативных данных
 Выбор характеристик задержки
 По расписанию, через интервал, непрерывный
 Применение преобразований на лету
 Стандартные SQL выражения или выполнение хранимых
процедур
7/20/2015
22
IBM Software Group | DB2 Information Management Software
Концепции гетерогенной репликации
IMS
DB2
DB2
Log based
Staging tables
Control
Sybase
Oracle
SQL
Server
Capture
Informix
Control
Apply
Federation
Engine
7/20/2015
Oracle
SQL
Server
Informix
Trigger based
Any
source
External application
Sybase
Teradata
 Каждая стейдж-таблица содержит
изменения для одной исходной
таблицы
 Формат стейдж-таблиы опубликован
для внешнего использования
Nicknames
23
IBM Software Group | DB2 Information Management Software
Расширение архитектуры репликации
New
 Малая задержка, высокая пропускная способность
 Высокая надежность
 Database event publishing
Control
Source
Control
Apply
Capture
Federation
Engine
Target
Parallel
Log based
WebSphere MQ






7/20/2015
Каждое сообщение представляет транзакцию
XML формат сообщения
Высоко параллельный apply process
Определение и разрешение конфликтов репликации
Гетерогенные источники и подписчики
Wizard для конфигурирования
24
IBM Software Group | DB2 Information Management Software
Доступ к Web Services
Language Translate
Service
Providers
We
Currency Rate
b
SELECT l.city, t.degreesFahr
FROM location l, temperature t
Airline Fare
Stock Quote
Temperature
WHERE t.city=l.city
 Интегрирует SQL предложения и вызов Web Service
 Один оператор может работать с локальными и удаленными данными и с web
services
 Поддержка генерации SQL функций и табличных UDFs, на основе WSDL web
service description ( WebSphere Studio)
7/20/2015
25
IBM Software Group | DB2 Information Management Software
Использование Web Services
 Любой Web Service становится функцией или источником данных
Invoke single
conversion
web service
Conversion
Service
SQL Query:
select t.supplier, t.part_num, t.qty, to_dollars(currency,price) as dollars
from supplier_ops s, table(get_quote (s.supplier,s.url,'abc',20,current date)) t
where s.operation = 'GET_QUOTE';
Invoke many
quote web
services
Quote
Services
7/20/2015
26
IBM Software Group | DB2 Information Management Software
Публикация событий (или захват изменений в данных)New
WebSphere Business Integration
Workflow
ODBC Client
JDBC Client
DB2 Information Integrator
Classic Federation for z/OS
VSAM
7/20/2015
IMS
Асинхронная коммуникация
между слоем данных и слоем
приложений
DB2 UDB
for z/OS
27
IBM Software Group | DB2 Information Management Software
Связь с пакетными приложениями
New
 Генерируются связанные иерархи
реляционных схем для бизнес объектов
пакетных приложений.
 Запрос через SQL.
 Можно соединиться с другими
приложениями и БД.
Websphere MQ
WBI Adapter
7/20/2015
WBI Adapter
WBI Adapter
28
IBM Software Group | DB2 Information Management Software
Information Integration
Мост в мир XML
XML wrapper
– Доступ к XML документам без их
занрузки
– Соединение XML с другими
данными
XML Extender
– Объектно-реляционное исполнение
– Хранить, извлекать, разбирать,
собирать XML
– Оценивать по DTD или Схеме
– Извлекать, преобразовывать
– Хранение
– куском
– Разбросать по таблицам
XML расширения в SQL
– Публиковать федеративные данные
как XML документы
7/20/2015
XML
world
29
IBM Software Group | DB2 Information Management Software
Интеграция с WebSphere MQ
 Доступ из приложений к очередям
WebSphere MQ с помощью SQL
Читать очередь (destructively or
non-destructively)
Послать сообщение
Опубликовать сообщение на
определенную тему
Зарегистрировать интерес к
определенной теме
Insert into PENDING_ORDERS
select t.msg from table(MQRECEIVEALL());
Two-phase commit integrity
7/20/2015
30
IBM Software Group | DB2 Information Management Software
Инструментарий
 Фокус: Сделать DB2 Information Integrator прозрачным для средств
разработки
 DB2 Centers ( Control Center, Development Center, etc)
•
Поддержка для ДБА и разработчиков серверных приложений
 WebSphere Studio (Eclipse Platform)
•
Web разработчики, J2EE разработчики, Data разработчики, XML
разработчики и т д
 DB2 Microsoft Visual Studio
•
Поддержка разработчиков приложений для DB2
 Business Intelligence Tools
•
7/20/2015
Протестировано с. Crystal Decisions, Business Objects, MicroStrategy, Brio,
Cognos…
31
IBM Software Group | DB2 Information Management Software
Ценность DB2 Information Integrator
 Расширяет отдачу от сделанных инвестиций
 Работает с существующей инфраструктурой
 Консолидирует данные и обеспечивает доступ к распределенным
данным, включая старые системы, так, как будто они находятся в
одном источнике данных
 Объединяет существующие данные и контент
 Использует знакомую SQL программную модель и существующие
средства разработки
 Построен на стандартной платформе
 Уменьшает время разработки сложных приложений
 Уменьшает ручное кодирование 40%-65%
 Уменьшает требования к квалификации разработчиков
 Наполовину сокращает время разработки
7/20/2015
32