Мастер класс: Хайлоадблоки использование, NoSQL

Александр Сербул

Руководитель направления контроля качества интеграции и внедрений 1С-Битрикс

ACID, SQL

С конца 70 г.г., «Джим» Грей Эдгар Кодд, Кристофер Дейт

Atomicity

— Атомарность

Consistency

— Согласованность

Isolation

— Изолированность

Durability

— Надежность

NoSQL – как все начиналось

Dynamo (Amazon, =< 2007) Cassandra (Facebook, 2009) MongoDB (2009) Redis (2009) …

NoSQL – «плавающие» схемы данных

NoSQL – «страшные архитектуры»

NoSQL – распределенные алгоритмы

Werner Vogels - VP and CTO of Amazon.com

Теорема CAP (Брюера)

Проф. Эрик Брюер, 2000, University of California at Berkeley

Согласованность данных (Consistency)

— во всех вычислительных узлах в один момент времени данные не противоречат друг другу

Доступность (Availability)

— любой запрос к распределённой системе завершается корректным откликом

Устойчивость к разделению (Partition tolerance)

— расщепление распределённой системы на несколько изолированных секций не приводит к некорректности отклика от каждой из секций

Теорема CAP - CA

Система, во всех узлах которой данные согласованы и обеспечена доступность, жертвует устойчивостью к распаду на секции. Такие системы возможны на основе технологического программного обеспечения, поддерживающего транзакционность в смысле ACID. Примерами таких систем могут быть решения на основе кластерных систем управления базами данных или распределённая служба каталогов LDAP.

Теорема CAP - CP

Распределённая система, в каждый момент обеспечивающая целостный результат и способная функционировать в условиях распада, в ущерб доступности может не выдавать отклик. Устойчивость к распаду на секции требует обеспечения дублирования изменений во всех узлах системы, в этой связи отмечается практическая целесообразность использования в таких системах распределённых пессимистических блокировок для сохранения целостности

Теорема CAP - AP

Распределённая система, отказывающаяся от целостности результата. Большинство NoSQL-систем принципиально не гарантируют целостности данных, и ссылаются на теорему CAP как на мотив такого ограничения.

Задачей при построении AP-систем становится обеспечение некоторого практически целесообразного уровня целостности данных, в этом смысле про AP-системы говорят как о «целостных в конечном итоге» (

eventually consistent

) или как о «слабо целостных» (

weak consistent

) DNS, Web Caches, NoSQL …

NoSQL – поможет ли?

Риски: Eventual consistency Агрессивная денормализация Проблемы со сложными запросами Усложнение приложения-клиента

HandlerSocket

Автор: Akira Higuchi DeNA Co., Ltd.

2010 год

WebApp + memcached

WebApp + HandlerSocket

Архитектура Хайлоадблоков

Отдельные таблицы БД Свои индексы D7: стандартизированные интерфейсы (

Table Data Gateway

):

сущность

(Bitrix\Main\Entity\Base)

поля сущности

(Bitrix\Main\Entity\Field и его наследники)

датаменеджер

(Bitrix\Main\Entity\DataManager)

Полезные книжечки

Изучайте истории успеха Разбирайтесь в архитектуре Используйте подходящие проекту решения Ищите готовые примеры в Bitrix Framework, D7

Table Module

“A single instance that handles the business logic for all rows in a database table or view”

Table Data Gateway

“An object that acts as a Gateway to a database table. One instance handles all the rows in the table”

Настройка подключения к HandlerSocket

Ставим PerconaServer или MariaDB или: 1) Качаем исходники MySQL 2) Собираем плагин HandlerSocket Настраиваем «/bitrix/.settings.php»

Архитектура Хайлоадблоков

\Bitrix\Main\Loader::includeModule( 'highloadblock' ); use Bitrix\Highloadblock as HL; use Bitrix\Main\Entity; $hlblock = HL\HighloadBlockTable::getById( 1 )->fetch(); $entity = HL\HighloadBlockTable::compileEntity( $hlblock ); // генерация класса $entityClass = $entity->getDataClass(); $result = $entityClass::

add / update / delete / getList/ getById

Хайлоадблоки и HandlerSocket

… 1) $obj = $entityClass::getById( $arData["ID"] )->fetch(); 2) Вызов API HS: open_index find 3) Обработка результата приложением Работает для ЛЮБЫХ сущностей!

Bitrix\Main\UserTable::getById(1); Снижение нагрузки на MySQL и сеть.

Хайлоадблоки и бизнес-логика

Наследуем от класса сущности Хайлоадблока: $hlblock = HL\HighloadBlockTable::getById( # )->fetch(); $entity = HL\HighloadBlockTable::compileEntity( $hlblock ); // генерация класса $entityClass = $entity->getDataClass(); } class MyDomainObjectTable extends #entityClass# { …//наша бизнес логика проекта

Хайлоадблоки/HandlerSocket

Плюсы: Низкие накладные расходы (PHP, меньше запросов SQL) Низкий риск блокировок в БД (свои таблицы) Тысячи, миллионы сущностей, справочники Снижение нагрузки на БД, хостинг Highload проекты, системы с большим объемом информации

Спасибо за внимание!

Вопросы?

Александр Сербул

[email protected]

@AlexSerbul