Григорий Бутейко на HighLoad++ 2023

BARSiC — асинхронная репликация и консенсус для 70 баз данных

Базы данных и системы хранения

Распределенные архитектуры

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Специализированным базам — специализированный механизм консенсуса. А так как баз у ВКонтакте много, то спикер расскажет историю разработки общего middleware, про автоматическую генерацию тестов и то, почему им не подошел Raft.

Целевая аудитория

Интересующиеся внутренним устройством баз данных, их разработчики, а также те, кому интересны новые подходы к обеспечению корректности реализаций консенсусов и других конечных автоматов с помощью формальных моделей (последняя треть доклада).

Тезисы

Скачать презентацию Все презентации конференции

Ядром ВКонтакте являются 70 специализированных баз данных (движков), организованных в 800 кластеров, имеющих в сумме 10000+ шардов.

Чтобы безболезненно переживать отказы мастера шарда, мы сделали BARSiC (Binlog Asynchronous Replication using Simple BD interface + Consensus) — в простонародье Барсик. Это система, которая обеспечивает автоматическое переключение ролей реплик и консистентность данных между ними, при этом не усложняет и не замедляет сами движки.

Расскажу, как мы проектировали BARSiC, почему отказались от стороннего консенсуса и каким образом с помощью модели TLA+ проверяем корректность кода Барсика на Go.

Григорий Бутейко

VK, ВКонтакте

Работает над инфраструктурой ВКонтакте. Программирует специализированные базы данных, сетевые протоколы и консенсусы. Исследует способы на практике обеспечивать их корректность с помощью моделирования, фаззинга, различных видов тестирования, в том числе с использованием формальных методов.

VK, ВКонтакте

ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!