Топики или очереди? Или все вместе? На примере Kafka и YDB

Базы данных и системы хранения

Распределенные системы

Архитектура данных, потоки данных, версионирование

Архитектуры / другое

YDB

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Backend-инженеры и архитекторы, которые строят свои решения на базе ассинхронной коммуникации и используют в работе тот или иной брокер сообщений (Kafka/RabbitMQ/YDB/SQS и тд)

Тезисы

В RabbitMQ - очереди, в Kafka - топики. В чем разница и когда использовать одни, а когда другие? А вот Kafka добавила очереди - теперь нам совсем RabbitMQ не нужен?

В Яндексе я работаю в команде, которая предоставляет другим командам, как очереди (в виде протокола SQS), так и топики (по Kafka, YDB и Kinesis протоколам). На основе этого опыта я постараюсь ответить на вопросы выше и показать разные задачи: которые лучше решаются очередями и в которых лучше применять топики.

А еще расскажу как Kafka (с помощью нового KIP-932) и YDB Topics (с помощью SQS API над топиками) позволяют решать все эти задачи внутри одного брокера и какие тут пока есть ограничения.

Андрей Серебрянский

YDB

Lead Developer в YDB Topics — делают масштабируемый open-source-брокер сообщений, на котором работает Яндекс и Yandex Cloud.

Сейчас активно развивают Kafka API для YDB Topics и много исследуют, как Kafka ведет себя в том или ином сценарии. Андрей расскажет, какие подводные камни и особенности им удалось раскопать.