Transcript Презентация

<Insert Picture Here>
Шестнадцатая ежегодная
техническая конференция
«Корпоративные базы данных-2011»
Машина баз данных Oracle - Oracle Exadata
Марк Ривкин
Oracle CIS
Время доступа к сверхбольшим ХД
10 Hour
Table Scan Time
Обычное
хранилище
5 Hour
1 Hour
Exadata
1TB
10 TB
100TB
Table Size
Проблема производительности
сверхбольших ХД
• Большие хранилища сканируют десятки, сотни и тысячи дисков
• Соединения между дисками и серверами ограничивают скорость
передачи данных в десятки и сотни раз
• В результате хранилища становятся медленнее по мере роста
Решение проблемы
• Прокачивать меньше данных
• Увеличить количество каналов связи
• Сделать каналы связи шире
Пропускная способность Infiniband
Пропускная способность одного соединения
1400
1200
1000
MB/sec 800
600
400
В 12 раз
медленнее
В 3 раза
медленнее
200
0
Gigabit Ethernet
4Gb Fibre
20Gb Infiniband
Конфигурация системы с Exadata
Single-Instance
Database
RAC
Database
InfiniBand Switch/Network
Exadata Cell
Exadata Cell
Exadata Cell
• Каждая ячейка Exadata – самостоятельный сервер с
установленными дисками и ПО Exadata
• Данные «размазаны» между многими ячейками Exadata
• Нет ограничения на количество ячеек в системе
Традиционное выполнение запроса

SELECT
customer_id
FROM calls
where amount >
200;

Определяются
экстенты
таблиц

Выполняется
поиск

Возвращается
результат
• Пример:
• Оператор хочет найти
клиентов, которые тратят
больше $200 на один
звонок
• С традиционным

хранилищем, анализ данных
БД уменьшает
производится сервером БД
терабайт данных до
1000 имен, которые • Большая часть данных
отсеивается за
возвращаются
клиенту
ненадобностью
• Данные, которые
отсеиваются, тем не менее

тратят время на их передачу
Поиск завершен:
1 ТБ данных
возвращается на
сервер
Выполнение запросов с Exadata

SELECT
customer_id
FROM calls
where amount >
200;

Умный запрос
передается
ячейкам

Определяются
записи и колонки
внутри терабайтной
таблицы,
удовлетворяющие
условиям

Возвращаются
записи

Обобщаются
результаты
полученные
с разных
ячеек

2MB данных
возвращается на
сервер
• Только нужные колонки
• customer_id
И нужные записи
• where amount>200
Возвращаются на сервер БД
• Разгружается процессор БД
• Не передается лишний
объем данных
Exadata Smart Scan
• Ячейки Exadata реализуют механизм передачи
запросов на сторону хранилища (scan offload) с тем,
чтобы значительно уменьшить объем данных
возвращаемых на сторону серверов БД
•
•
•
•
11.2 •
•
Фильтрация строк на основе “where” предиката
Фильтрация колонок
Фильтрация соединений (join)
Фильтрация инкрементального backup
Фильтрация зашифрованных данных
Работа с функциями Data Mining
11.2
• 10x уменьшение данных является
обычным (на тестах заказчиков)
• Полностью прозрачно для приложения
• Даже если происходит сбой ячейки или диска во
время запроса
Прозрачность технологии Smart Scan для
приложений
• Smart scans прозрачен для приложения
• Не требуется изменения приложения или SQL кода
• Возвращаемые данные полностью консистентны
• В случае выхода из строя ячейки во время smart scan
незавершенная часть запроса прозрачно
перенаправляется на ячейку, содержащую копию
данных
• Smart Scans корректно обрабатывает следующие
случаи:
• Неподтвержденные записи (uncommitted) и
заблокированные записи
• Цепочки строк (chained rows)
• Сжатые таблицы
• Обработку национальных языков
• Работа с датами
• Регулярные выражения
• Партиционированные таблицы
Database Machine Software
Архитектура
11g Database
Server
• Oracle Database 11g на
8 или 2 узлах RAC
ASM
• ASM обеспечивает
зеркалирование,
чередование и
балансировку
Exadata
• ПО Exadata
обеспечивает smart
scan с помощью
протокола iDB
Управление
пулом хранения
Интеллектуальная
система хранения
Автоматическая степень параллелизма
Как это работает
SQL
оператор
SQL разобран и
оптимизатор определил
план выполнения
Если оцениваемое
время выполнения
меньше
Если оцениваемое
время выполнения
больше чем задано
параметром
Оптимизатор
определяет
идеальную DOP
Реальная DOP = MIN(default DOP, ideal DOP)
PARALLEL_MIN_TIME_THRESHOLD
SQL выполняется без
параллелизма
© 2009 Oracle Corporation – Proprietary and Confidential
New
11.2
SQL выполняется
параллельно
Параллельное выполнение в памяти
New
11.2
Как это работает
Определяет размер
просматриваемой
таблицы
SQL
оператор
Таблица очень
маленькая
Фрагменты таблицы
читаются в буферные
кэши каждого узла
Таблица очень
большая
Читает в буферный
кэш любого узла
© 2009 Oracle Corporation – Proprietary and Confidential
Таблица – хороший
кандидат для
параллельного
выполнения в памяти
Всегда использует
прямые чтения с
диска
Только параллельный сервер того же
узла RAC будет
обрабатывать этот
фрагмент
Инновации Exadata Storage Server
• Intelligent storage
• Hybrid Columnar Compression
• Smart Scan query offload
• Масштабируемый storage
+
+
– Сжатие до 10 раз для DW
– Сжатие до15-50 раз для архивов
+
• Smart Flash Cache
Данные
остаются
сжатыми
– Ускорение случайного I/O до 20 раз
– Удваивает скорость сканирования
данных
Несжатые
primary backup
Выгоды
мультиплексируются
test
standby
dev’t
Сжатые
Copyright © 2011, Oracle Corporation and/or its affiliates
Exadata Smart Flash Cache
Расширяет ограничения произвольного в/в дисков
300 I/O в секунду
• Компромисс между традиционными дисками и Флэш
памятью
• Диски дешевы, имеют большую ёмкость, но ограничены
низким в/в (300 IOPS на диск)
• Флэш память дорогая, имеет малую ёмкость, но может
поддержать тысячи операций в/в в секунду
• Идеальное решение - Exadata Smart Flash Cache
Десятки тысяч
операций в секунду
Copyright © 2009, Oracle Corporation and/or its affiliates
• Хранение данных на диске из-за стоимости
• Прозрачно перемещает “горячие” данные на флэш
кэш
• Используются флэш карты вместо флэш дисков, что
исключает ограничения дисковых контроллеров
• Флэш карты в Exadata
• Высокая пропускная способность, низкая лэтентность
• 4 x 96GB PCI Express Flash Cards на Exadata Server
– 15 –
Почему кэш SMART ?
• Exadata интегрирована с СУБД Oracle, поэтому умеет точно
определять что и когда кэшировать:
• Согласно атрибутам объекта CELL_FLASH_CACHE
• NONE, DEFAULT & KEEP
• DB caching hint (defined for different I/O types)
• CACHE, NOCACHE, EVICT
• ASM primary/secondary IOs
• I/O size (Small I/O are cached if KEEP is not set)
• < 128KB IO is small
• Подозрителен к сканированию таблиц – большим операциям
чтения
Примеры:
•
•
•
•
Операции с Control File кэшируются
Заголовки файлов, блоки индексов и таблиц кэшируются
Пропускает кэширование операций записи зеркальных копий
Пропускает кэширование форматирования табличных пространств
Гибридное колоночное сжатие
Hybrid Columnar Compression
• Данные группируются по
колонкам и затем сжимаются
• Query Mode для хранилищ
данных
• Оптимизированы для быстрого
доступа
• 10X сжатие
• Время сканирования уменьшается
соответственно
• Archival Mode для редко
используемых данных
Оптимизировано для уменьшения
занимаемо места
• 15X сжатие
• До to 50X раз для некоторых данных
• Помощник по сжатию
DBMS_COMPRESSION PL/SQL пакет
Exadata Hybrid Columnar Compression
Как это работает
Compression
Unit
• Таблица делится на группы из нескольких тысяч строк
• Compression Units (CUs)
• В CU данные режутся по колонкам и затем сжимаются
• Колонка позволяет хранить похожие данные вместе,
увеличивая степень сжатия
• Полезно при прямой загрузке и выборке данных
Reduces
4x
to 50x
Table
Size
Reduction
4x to 40x
• Низкая активность по обновлению
• Степень сжатия как у лучших промышленных
алгоритмов – Gzip, Bzip2 (LZO/ZLIB/BZ2 )
• Exadata выгружает на ячейки фильтрацию, проекции
и т д для сканирования сжатых данных
• Выборка по индексу возвращает сжатые блоки в БД, так
что экономится буферный кэш
Copyright © 2010, Oracle Corporation and/or its affiliates
– 18 –
Реальные результаты
Oracle Production E-Business Suite
Size Reduction Factor by Table
52
50
45
40
35
30
25
20
15
10
5
0
OLTP Compression (avg=3.3)
43
Query Compression (avg=14.6)
Archive Compression (avg=22.6)
10
10
10
11
29
16
19
19
19
20
• Коэффициенты колоночного сжатия
• Query = 14.6X
• Archive = 22.6X
• Зависит от приложения
21
Другие возможности ПО Exadata
• Exadata Storage Indexes
• Структура в памяти, которая исключает
ненужные дисковые операции В/В
• Хранит МИН и МАКС значения для каждой
колонки
• Обычно одна запись в индексе для каждого
Мб диска
• I/O Resource Manager (IORM)
• Обеспечивает приоритет операций В/В для
обеспечения предсказуемой
производительности
Copyright © 2009, Oracle Corporation and/or its affiliates
– 20 –
Exadata резко снижает трафик
10 TB данных
требуют IO для 10 TB
1 TB
после сжатия
100 GB
с partition pruning
милисекунды
на Database
Machine
20 GB
с Storage Indexes
5 GB
с Smart Scans
Данных в десятки раз меньше, Scans в 2000 раз быстрее
Copyright © 2009, Oracle Corporation and/or its affiliates
– 21 –
Архитектура Exadata
Single-Instance
Database
DB Server
DB Instance
DBRM
ASM
RAC
Database
DB Server
DB Server
DB Instance
DBRM
ASM
DB Instance
DBRM
ASM
iDB Protocol over
InfiniBand with
Path Failover
InfiniBand Switch/Network
OEL
MS
IORM
RS
Exadata Cell
CELLSRV
OEL
MS
IORM
RS
Exadata Cell
CELLSRV
Enterprise
Manager
OEL
MS
IORM
RS
Exadata Cell
CELLSRV
Cell
Control
CLI
Oracle Grid Computing
Кластеры серверов приложений
•
•
•
•
Storage Grid
Database Grid
Application Grid
Grid Control
Кластеры баз данных
Grid Control
Сетевые устр. хранения
Архитектура Exadata X2-2
Database Grid
• 8 compute servers (1U)
• 2 Intel Sockets
Storage Grid
• 14 storage servers (2U)
• 2 Xeon CPUs per server
InfiniBand Network
• Redundant 40Gb/s switches
• Unified server & storage net
• 100 TB High Speed disk,
or
336 TB High Capacity
disk
• 5 TB PCI Flash
• Data mirrored across
storage servers
Новая модель. Exadata X2-8
Database Grid
• 2 64-core Intel EX Servers
• 2 TB Memory
• Выбор:
• Oracle Linux Unbreakable
Enterprise Kernel
• Solaris 11 Express
Network
• Redundant 40Gb/s Infiniband
• 10 Gb Ethernet to Data Center
Storage Grid
• Same Storage Grid as
Exadata X2-2
• CPUs updated to latest
6-core Xeon
Можно начать с четверти Exadata
Quarter
Rack
Half Rack
Full
Rack
Масштабируемость до 8 шкафов
2368 ядер
2.6 петабайт несжатых данных
Радикальное упрощение развертывания
• Database Machine упрощает
развертывание систем БД
• Месяцы конфигурации, разрешение проблем, настройки
• Database Machine готова к
назначенному сроку
• Уже созданная, протестированная , стандартная и
поддерживаемая конфигурация
• Прозрачно для существующих приложений – не
нужно никаких изменений!
Не месяцы,
а дни
• Экстремальная производительность
“прямо из коробки”
Copyright © 2009, Oracle Corporation and/or its affiliates
– 28 –
Sun Oracle Database Machine
Экстремальная Производительность для всего
• Для хранилищ данных
• Параллельные запросы в памяти или в Flash
• Сжатые 4TB данных в памяти, 50 TB на flash
• В среднем в 10X-20X быстрее традиционных хранилищ
• Для OLTP-систем
• Масштабирование реальных приложений в grid - среде
• Smart flash кэш обеспечивает 1 млн операций ввода/вывода
в секунду
• Сжатые 1.2 TB данных в памяти, 15 TB в Flash
• Сжатие в 50x для архивных данных
• Защищенность и отказоустойчивоть
• Для консолидации баз данных
• Поддерживает масштабирование любых типов нагрузки
• Предсказуемое время отклика в многопользовательском
окружении
Машина БД Exadata
Консолидация всех существующих приложений
• На Exadata могут совместно выполняться
приложения любого типа. Это гарантируется:
ERP
CRM
Warehouse
Data Mart
HR
• Широкими каналами и масштабируемой системой
ввода/вывода;
• Instance Caging – ограничение на ресурсы ЦПУ между
БД на одном узле;
• Менеджер ресурсов ввода/вывода;
• Большой объем памяти и процессорные
мощности для онлайн задач;
• Оффлоадинг операций (smart scans, storage
indexes) для пакетных задач, отчетности,
хранилищ;
• Встроенная компрессия – существенная
сэкономить на дисковом пространстве для
любых приложений.
• Архивы и данные для отчетности
Copyright © 2010, Oracle Corporation and/or its affiliates
– 30 –
Exadata на рынке
• Была выпущена в 2008
• Применяется в всех регионах и индустриях
© 2010 Oracle Corporation
31
Итак, Exadata – это не только ценный мех
высокая производительность, НО и:
Поколоночное сжатие
Распарралеливание запроса на 128+ процессоров
Огромная память 2 Тб на 1 машине
Компактность (1 холодильник вместо 22 комп + диски)
Масштабируемость – 0.25 -> 1 -> 8 …..
HA внутри коробки
Сбалансированная архитектура
Предустановлено, преконфигурировано
Быстрое развертывание
Единая точка тех поддержки
Единая консоль управления, патчи и т д
Дешево (особенно если oracle уже есть)
DSS+DW+OLTP+ mixed
Итд
Why Should Customers Upgrade to 11g Training
33
X2-2 Database Server (Sun Fire X4170 M2)
Processors
2 Six-Core Intel® Xeon® X5670 Processors (2.93 GHz)
Memory
96GB (12 x 8GB)
Local Disks
4 x 300GB 10K RPM SAS Disks
Disk Controller
Disk Controller HBA with 512MB Battery Backed Cache
Network
2 (Two) x InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0
HCA)
4 (Four) x 1GbE Ethernet Ports
2 (Two) x 10GbE Ethernet SFP+ Ports (1 Dual-port 10GbE PCIe
2.0 network card based on the Intel 82599 10GbE Controller
technology)
Remote
Management
1 Ethernet port (ILOM)
Power supplies
2 Redundant Hot-Swappable power supplies
Copyright © 2010 Oracle Corporation and/or its affiliates
– 35 –
X2-8 Database Server (Sun Fire X4800)
Processors
8 x Eight-Core Intel® Xeon® X7560 Processors (2.26 GHz)
Memory
1 TB (128 x 8GB)
Local Disks
8 x 300GB 10K RPM SAS Disks
Disk Controller
Disk Controller HBA with 512MB Battery Backed Cache
Network
8 (Eight) x InfiniBand 4X QDR (40Gb/s) Ports (4 Dual-port PCE 2.0
Express Modules)
Two Network Express Modules (NEM), providing a total of
• 8 (Eight) x 1GbE Ethernet Ports
• 8 (Eight) x 10 GbE Ethernet SFP+ Ports (via 4 Fabric Express
Modules (FEM) based Intel 82599 10GbE Controller technology)
Remote
Management
1 Ethernet port (ILOM)
Power supplies
4 Redundant Hot-Swappable power supplies
Copyright © 2010 Oracle Corporation and/or its affiliates
– 36 –
Exadata Storage Server X2-2 (Sun Fire X4270 M2)
Processors
2 Six-Core Intel® Xeon® L5640 Processors (2.26 GHz)
Memory
24 GB (6 x 4GB)
Disks
12 x 600 GB 15K RPM High Performance SAS
OR
12 x 2 TB 7.2K RPM High Capacity SAS
Flash
4 x 96 GB Sun Flash Accelerator F20 PCIe Cards
Disk Controller
Disk Controller HBA with 512MB Battery Backed Cache
Network
2 (Two) InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe
2.0 HCA)
4 Embedded Gigabit Ethernet Ports
Remote
Management
1 Ethernet port (ILOM)
Power Supplies
2 Redundant Hot-Swappable power supplies
Copyright © 2010 Oracle Corporation and/or its affiliates
– 37 –