Профессиональная конференция разработчиков высоконагруженных систем

Гарантии доставки сообщений в Kafka и YDB Topics

Базы данных и системы хранения

Архитектурные паттерны
Распределенные системы
Архитектура данных, потоки данных, версионирование
Обработка данных
Микросервисы

Доклад принят в программу конференции

Целевая аудитория

Разработчики, лиды разработки, технические менеджеры. Все, кто решал, решает или интересуется задачей масштабируемой поставки данных.

Тезисы

Рассматриваются базовые проблемы ненадёжной передачи данных и способы борьбы с ними: повторы и дедупликация.
Далее, на примере паттернов микропроцессорной архитектуры иллюстрируются гарантии доставки: at-most-once, at-least-once, exactly-once.
В заключение на примере двух брокеров очередей сообщений, Kafka и YDB Topics, показываются детали реализации гарантий доставки.

Технический лидер, кандидат технических наук, доцент.

Yandex Infrastructure

Команда Yandex Infrastructure создает системы, сервисы и инструменты для разработчиков Яндекса. Их решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру на всех этапах производства: у них есть собственная система контроля версий для хранения исходного кода, системы распределённой сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, система ревью кода, распределённая система выполнения задач, системы развертывания и мониторинга приложений. Они также разрабатывают продукты для поддержки процессов разработки, планирования ресурсов и много других систем и инструментов.

Видео

Другие доклады секции

Базы данных и системы хранения