Transcript Virtual SAN - Виртуальная Россия

VMware Software Defined Storage
Новые подходы по работе с ресурсами хранения данных
Николай Куликов
Виртуальная Россия 2014
© 2014 VMware Inc. All rights reserved.
Предупреждение
• Некоторый функционал, о котором я расскажу, может находиться в стадии разработки.
• Компания VMware не берет на себя обязательства включить функционал,
представленный в презентации, в конечный продукт.
• Функции могут быть изменены и их перечень не должен быть включен в любые
контракты/заказы или соглашения любого рода.
• Технические возможности и требования рынка повлияют на функционал конечного
продукта.
• Цены и перечень любых новых технологий и функций окончательно не установлены, и это
предмет для дальнейших обсуждений.
2
О чем мы НЕ будем сегодня говорить:
3
О чем мы БУДЕМ сегодня говорить:
4
Почему именно революция, а не просто эволюция?
2006 год – 18 млн
2014 год -1.2 млрд
5
VMware Software-Defined Storage
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
6
Управление на базе политик хранения
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
7
Преимущества управления на основе политик
Today
Сегодня
Управление на базе политик
• От оборудования к задаче
• От задачи к оборудованию
• Специфика производителя
• Одно управления для
различного оборудования
• Жесткая привязка к LUN
• Динамичное предоставление
сервисов
• Сервисы так же привязаны к
LUN
• Сервисы привязаны в ВМ
SDS
✖ Долгое предоставление
ресурсов
✖ Избыточность ресурсов
✖ Сложность управления
✖ Частые миграции
данных
 Быстрое предоставление  Автоматизация
ресурсов
 Простое управление
 Без лишних ресурсов
8
2H2014 / 1H2015
Пример: политика для VMware Virtual SAN
Настройки Virtual SAN:
• Количество страйпов на объект
• Количество допустимых отказов
• % зарезервированного места
• % резервирование места под кэш
на чтение
9
Проверка соответствия политики нашим требованиям
10
Любые характеристики хранилища
Hypervisor
Virtual Pools
SSD
SAN
Доступность
•
•
•
FTT
Снепшоты
Репликация
Управление
•
•
NAS
Скорость
HDD
DAS
Возможности
• Компрессия
• RAID
МониторингУправление
• Дедупликация
• QoSна базе политик
Вендор
• Авто-тиринг
• Скорость
ВМ-ориентированные
сервисы
• Задержки
• Кэширование
Виртуализованная плоскость данных
Безопасность
• Шифрование
• Соответствие
нормативным
требованиям
11
Пример: политика для SAN/NAS при помощи VVOL
12
VMware Virtual Volumes
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
13
Особенности работы с внешними хранилищами
Хранилище без VVol
Хранилище с VVol
vSphere
vSphere
Гранулярность - каждая ВМ
Передача сервисов на
хранилище (Offload)
datastore a
Возможность реализации
управления на базе политик
и
LUN
Никакого создания LUN’ов
LUN
LUN
LUN
Массив-А
LUN
Массив-Б
Replication
Snapshots
Caching
Encryption
De-duplication
14
Архитектура Virtual Volumes
Политики хранения
vSphere
Администратор
vSphere
Управление
Данные
Vendor Provider
(VASA)
Емкость
Доступ
Virtual Datastore
Возможности
Снепшоты
Репликация
Администратор
хранилища
Дедупликация
Управление
QoS
SAN / NAS
15
VASA Provider (VP)
Характеристики
•
ПО от вендора хранилища
•
VASA Provider может находиться на
сервере управления массивом или на
самом массиве
•
ESX и vCenter Server подключается к
VASA Provider
•
Один VASA Provider может управлять
многими массивами
•
Поддерживает VASA API
предоставляемый vSphere
•
Отвечает за создание Virtual Volumes
Virtual Volumes
VASA Provider
16
Protocol Endpoints (PE)
Характеристики
Virtual Volumes
PE
VASA Provider
•
Точка обмена данными между хостами
ESXi и хранилищем
•
Служит для разделения точек обмена
данными от самого хранения
•
Создается на системе хранения данных
•
Управляется администратором
хранилища
•
Возможно создание множества PE
17
Storage Container (SC)
Характеристики
Virtual Volumes
•
Исключительно логическая конструкция,
объединяющая группу VVOL
•
Создается тоже администратором
хранилища один* раз
•
Размер можно изменять при
необходимости
•
Минимум один контейнер на массив,
максимум – сколько поддерживает
вендор
•
Возможно размещение ВМ с различными
требованиями/характеристиками в одном
контейнере
•
Один контейнер может быть подключен к
нескольким PE
18
Virtual Volumes
• Virtual Volumes
vSphere Web Client View
– Объекты ВМ, которые хранятся
непосредственно на массиве в контейнерах
– Не требует файловой системы
CONFIG
• Существует 5 различных типов Virtual
Volumes:
– Config-VVol –Метаданные
– Data-VVol – VMDK
DATA
– Mem-VVol – Снепшоты
– Swap-VVol – Своп-файлы
vvol
SWAP
– Other-VVol – Остальные файлы
MEM
19
Еще раз:
Итого
Политики
Storage Policy-Based Mgmt.
Capacity
Performance
Availability
Data
Protection
Security
vSphere
Virtual Volumes
•
Никакой файловой системы
•
ESXi управляет массивом через
VASA (vSphere APIs for Storage
Awareness).
•
Массив разделяется на
логические контейнеры (SС)
•
Диски VM, называемые Virtual
Volumes, помещаются напрямую в
Storage Containers.
•
IO от ESXi до массива проходит
через точку под названием
Protocol Endpoint (PE)
•
Выполнение различных сервисов
передается на массив
•
Управление происходит через
политики хранения из vSphere
VASA Provider
PE
PE
Возможности
Снепшоты
Репликация
Дедупликация
Шифрование
20
Преимущества VVol: действительно гибкие политики
21
Преимущества VVol: снепшоты на массиве
• В KB1025279 есть следующие
рекомендации по снепшотам ВМ
– Использовать не более 24-72 часов
– Не более 2-3 последовательных
снепшотов
– Может негативно повлиять на
производительность
• Снепшоты на массиве
– Крайне высокая эффективность
– Мгновенное восстановление тома
– Поддерживается до 512
• VVol на данный момент ограничен 32
– Создание мгновенных копий без
дополнительной нагрузки
– Более частые точки защиты
данных
Чтение C1
Запись C2
Чтение A
Чтение E
Запись E1
Момент 2
C2
E1
Момент 1
Δ Изменения
C1
Момент 0
Данные
A
B
C
Δ Изменения
D
E
22
Преимущества VVol: детальный мониторинг за каждой ВМ
С VVol становится возможно:
• Получить метрики от хранилища для каждой ВМ и каждого диска ВМ
• Точнее и аккуратнее определить проблемные ВМ или диски ВМ
• Уменьшить время решения проблемы
23
Преимущества VVol: : репликация
• Гранулярная защита
– Репликация для каждой ВМ
– Защитные планы для каждой ВМ
планах
ВВпланах
• Защищайте только то, что вам действительно нужно, но именно
так, как вам нужно
24
Преимущества для каждой стороны
Администратор
инфраструктуры
Администратор
хранилища
• Возможность быстрого
получения сервисов от
хранилища для каждой ВМ
• Простое получение ресурсов
хранилища по требованию
• Мониторинг соответствия
требованиям
• Использование возможностей
хранилища по-максимуму
• Простое управление емкостью
• Соблюдение SLA для ВМ
• Управление доступом и
безопасностью
25
Практически все производители поддерживают VVol
И другие….
Более 20
VVOL
Партнеров
Готовность к
GA
Virtual
Volumes уже
в Бета
26
Где попробовать VVol уже сейчас? В Hands-On Labs!
HOL-SDC-1429 - Virtual Volumes Tech Preview
HOL-PRT-1467 - Virtual Volume with Dell EqualLogic
27
VMware Virtual SAN
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
28
Причины появления конвергентных решений
Мощность CPU
Емкость SSD
Гипервизор
Сервер
x86
Конвергентное
хранилище
SSD
HDD
SSD
HDD
SSD
HDD
Скорость SSD
DIMM
SAS/
SATA
29
VMware Virtual SAN
VSAN
vSphere
…
SSD
Hard disks
SSD
Hard disks
SSD
Hard disks
VSAN Datastore
Создается единый vsanDatastore, который используется для размещения всех
ВМ и на всех серверах
30
Virtual SAN – это НЕ еще одна служебная ВМ на vSphere
– Virtual SAN полностью интегрирован с vSphere (ESXi и vCenter)
– Работает на уровне ядра:
• Самый короткий и быстрый путь для I/O
• Нет лишних затрат на установку и обслуживание
• Нет лишнего использования ресурсов
Virtual SAN – НЕ ВМ
Virtual SAN – Уже ВСТРОЕН в vSphere
31
Требования к оборудованию для VSAN
1Gb/10Gb NIC
Сервер VMware HCL
SAS/SATA контроллер (“pass-through” или
“RAID0”)
PCIe/SAS/SATA SSD
Минимум 1
SAS/NL-SAS/SATA
HDD
•
•
•
•
•
Min 1 SSD & 1 HDD per host, Max 1 SSD & 7 HDD per disk group, 5 disk groups per host
Min 3 ESXi 5.5 Hosts, Max TBD Hosts, Max 1 VSAN datastore per cluster
Max vsanDatastore = TBD hosts * 5 disk groups * 7 disks * size of disks
Not every node in a VSAN cluster needs to have local storage.
vCenter server version 5.5; managed thru web-client
32
Базовый элемент – дисковая группа
Одна дисковая группа
Несколько дисковых групп
33
Процесс записи
1
virtual disk
2
6
vSphere
Virtual SAN
H1
5
7
3
H2
4
H3
5
1.
VM включается и работает на H1; H1 хранит
данные ВМ. FFT = 2
2.
ВМ оправляет запрос на запись на H1
3.
На H1 создается две копии данных. Одна из
них отправляется на запись в SSD на H1
4.
Вторая копия отправляется на H2
5.
Запись подтверждается только после
попадания на SSD
6.
H1 ждет ответа о записи от ОБОИХ узлов и
только после этого оправляет ответ в ВМ об
успешной записи
7.
Позже данные сбрасываются на жесткий диск
из SSD
7
34
Процесс чтения
virtual disk
1
6
1.
ВМ отправляет запрос на чтение
2.
H1 определяет владельца данных (в нашем
случае H2)
3.
Если это возможно, то чтение идет с SSD на
хосте-владельце. Если данных нет в SSD, то
читаем с HDD
4.
Блок с данными может быть закеширован в
SSD
vSphere
Virtual SAN
– Владелец распределяет запросы на чтение
H1
H2
между компонентами таким образом, что каждый
блок кэшируется только на одном хосте для
максимально эффективного использования SSD
H3
5
2
3
5.
Данные пересылаются на H1
4
6.
Данные отправляются в ВМ
35
Сценарии использования Virtual SAN
Сценарии использования Virtual SAN 5.5
Virtual Desktop
(VDI)
Tier 2 / Tier 3 /
Test
• Быстрое и автоматическое
развертывание новых ресурсов
хранения данных
• Идеальное отношение
цены/производительности
• Позволяет быстро создавать
ресурсы хранилища для облачных
нагрузок
DR
Target
• Полная интеграция с vSphere
Replication и VMware SRM
• Уменьшает стоимость
резервного сайта
• Минимизирует требования к
архитектуре ЦОД’ов
36
Пути построения VMware Virtual SAN
Virtual SAN + Оборудование
«Собери сам»
Подбор всех компонентов…
Любой сервер из
vSphere Hardware
Compatibility List
Virtual SAN Ready Node
>40 уже сконфигурированных
производителями конфигураций
оптимальных для Virtual SAN (2)
Гипер-конвергентное решение
VMware EVO:RAIL
Гипер-конвергентная
инфраструктура для
построения SDDC
SSD
SAS/NL-SAS/ SATA
HDD
HBA/RAID
Контроллер
…используя VMware Virtual SAN
Compatibility Guide (VCG) (1)
Гибкость
Каждое решение предустановлено и
преднастроено. Представляет собой
оптимизированную платформу формата
2U/4.
Поставляется единым SKU
производителями-партнёрами
EVO:RAIL(3)
Скорость и простота
Note: 1) Components must be chosen from Virtual SAN HCL, using any other components is unsupported – see Virtual SAN VMware Compatibility Guide Page
2) VMware continues to update/add list of the available Ready Nodes, please refer to Virtual SAN VMware Compatibility Guide Page for latest list
3) EVO:RAIL availability in 2H 2014. Exact dates will vary depending on the specific EVO:RAIL partner
37
Пример конфигураций Virtual SAN Ready Nodes
38
Сверхвысокая производительность на реальных нагрузках
View Planner VDImark
101 Heavy User per Host
3-16 серверов, в каждом
• 2xSSD 400GB
Microsoft
Exchange
Server 2010
• 12xHDD
15k 300GB
5 серверов, в каждом:
3 дисковых группы:
1xSSD 200GB
4xHDD 900GB
Microsoft SQL Server 2008 = 77k/148k OPM
4/8 серверов, в каждом 1xSSD 400GB + 7xHDD 1.1TB
4-32 серверов, в каждом 1xSSD 400GB + 7xHDD 1.1TB 10k
Подробнее в документе:
https://blogs.vmware.com/performance/2014/03/vdi-performance-benchmarking-vmware-virtual-san-5-5.html
Подробнее
Подробнее:
в документе:
Подробнее
в документе:
http://www.vmware.com/files/pdf/techpaper/vsan-sql-dvdstore-perf.pdf
http://blogs.vmware.com/vsphere/2014/03/supercharge-virtual-san-cluster-2-million-iops.html
http://www.vmware.com/files/pdf/techpaper/Vmware-exchange-vsan-perf.pdf
39
И еще кое-что…
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
40
vSphere API for IO Filtering (VAIO)
Обзор
• API для сторонних
Storage Policy Based Management
Virtual SAN
Virtual Volumes
Сторонние
решения
разработчиков,
позволяющее внедрять
решения для обработки
данных ВМ
• Производительность работы
на уровне ядра гипервизора
и стабильность работы на
уровне гостевой ВМ
SSD
HDD
SSD
HDD
SSD
• Глубокая интеграция с
HDD
политиками хранения
vSphere
Virtual SAN Shared Datastore
• Уникальный контроль и
SAN / NAS
SAN / NAS
обработка канала
ввода/вывода для каждой
ВМ
41
Другие улучшения в следующей vSphere
Участвуйте в VMware vSphere
Open Beta, чтобы знать больше!
• Помогите нам улучшить ваш любимый
продукт
• Узнайте о грядущих изменениях еще до
того, как о них расскажут всем. Только
никому не рассказывайте 
• Никаких номинаций. Участвовать может
любой!
• http://www.vmware.com/go/vspherebetaq2
42
VMware Software-Defined Storage
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
Storage Policy Based Mgmt.
vSphere
Virtual Volumes
Virtual SAN
…
Virtual Datastore
SSD
HDD
vCloud Air
…
SSD
HDD
SSD
HDD
Virtual SAN Shared Datastore
SAN / NAS
Cloud Storage
SAN / NAS
43
Николай Куликов
[email protected]