Эволюция репликации в Tarantool. Путь от master-replica к master-master и от асинхронной репликации к синхронной с выборами лидера

Технологии VK

Базы данных и системы хранения

Внутрянка решений

Tarantool
Распределенные системы
Обработка данных
Расширение кругозора
Технологии VK

Доклад принят в программу конференции

Целевая аудитория

Администраторы БД, эксплуатирующие Tarantool, разработчики СУБД и просто интересующиеся распределёнными системами.

Тезисы

Tarantool прошёл большой путь в репликации. Начиналось всё с master-replica без поддержки транзакций, затем появилась поддержка master-master, потом и поддержка транзакций. Одновременно с этим появились нереплицируемые таблицы. Последним нововведением стала синхронная репликация и автоматические выборы лидера.

Все эти изменения мы старались проводить эволюционно, минимально затрагивая протокол: например, мастер может реплицировать часть таблиц асинхронно, а часть – синхронно. И, если синхронная репликация не используется, Tarantool новой версии может быть и мастером, и репликой для Tarantool старой версии.

В докладе я расскажу, что менялось в протоколе репликации на протяжении последних 10 лет, как мы сохраняем совместимость и баланс между существующими режимами работы и появляющимися фичами и как работаем над удобством эксплуатации кластера. Также поговорим о наших дальнейших планах.

Занимается разработкой репликации в Tarantool.

Tarantool, VK

Tarantool — платформа in-memory-вычислений с гибкой схемой данных для эффективного создания высоконагруженных приложений. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотен миллионов людей.

Видео