Профессиональная конференция разработчиков высоконагруженных систем

Гарантии доставки сообщений в YDB Topics

Базы данных и системы хранения

Архитектурные паттерны
Распределенные системы
Архитектура данных, потоки данных, версионирование
Обработка данных
Микросервисы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Докладчик погрузит вас во внутреннее устройство брокеров сообщений, вы узнаете, как правильно «готовить» exactly-one и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.

Целевая аудитория

Разработчики, лиды разработки, технические менеджеры. Все, кто решал, решает или интересуется задачей масштабируемой поставки данных.

Тезисы

Рассматриваются базовые проблемы ненадёжной передачи данных и способы борьбы с ними: повторы и дедупликация. Далее на примере паттернов микропроцессорной архитектуры иллюстрируются гарантии доставки: at-most-once, at-least-once, exactly-once.

В заключение на примере двух брокеров очередей сообщений — Kafka и YDB Topics — показываются детали реализации гарантий доставки.

Руководитель группы, кандидат технических наук, доцент.

Yandex Infrastructure

Команда Yandex Infrastructure создает системы, сервисы и инструменты для разработчиков Яндекса. Их решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру на всех этапах производства: у них есть собственная система контроля версий для хранения исходного кода, системы распределённой сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, система ревью кода, распределённая система выполнения задач, системы развертывания и мониторинга приложений. Они также разрабатывают продукты для поддержки процессов разработки, планирования ресурсов и много других систем и инструментов.

Видео