Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Алгоритм инкрементальных бэкапов в Apache Ignite

Базы данных и системы хранения

Проектирование СУБД / Распределенные СУБД

Базы данных / другое
Распределенные системы
Алгоритмы и их сравнение
Технологии отказоустойчивости и катастрофоустойчивости, бэкапы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

На этом докладе вас ждет увлекательный рассказ о том, как найти академическую работу в интернете, а потом на ее основе сделать консистентные снапшоты в Apache Ignite, по дороге придумывая, как протестировать консистентность в распределенной системе.

Целевая аудитория

1. Пользователи Apache Ignite и форка Сбера — DataGrid. 2. Интересующиеся алгоритмами в распределенных системах. 3. Интересующиеся внутренним устройством СУБД.

Тезисы

Реализовать функционал создания бэкапов (или снапшотов) в СУБД непросто. Задача вдвойне сложнее, когда это нужно сделать в распределённой СУБД. Втройне — когда СУБД поддерживает распределённые транзакции. Тем не менее любой хороший Crash Recovery-план содержит противоречивые пункты — «Иметь под рукой полный бэкап» и «Обеспечить RPO в пределах 5 минут».

Мы реализовали в Ignite алгоритм «Consistent Cut» для снятия инкрементальных снапшотов. В докладе расскажу, как нам удалось сделать снятие максимально незаметным для пользователя, а восстановление каждого узла полностью автономным. Обсудим, про что не нужно забывать при разработке production-фичи, даже если ослеплен красотой алгоритма.

Разработчик core-команды распределённой СУБД на основе Apache Ignite. Занимается разработкой крупных подсистем, таких как инкрементальные снапшоты, realtime CDC и IndexQuery API.

СберТех

СберТех предоставляет IT-сервис для бизнесов с миллионами пользователей. Одно из ключевых решений базируется на Apache Ignite (IMDG и compute platform). Поддерживают десятки установок Ignite в продакшне, а их команда — основной контрибьютор в Apache Ignite.

Видео

Другие доклады секции

Базы данных и системы хранения