Сравнение масштабируемости Kafka и YDB Topics

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Highload без очередей — не highload. Профи построения Stream-систем Андрей Серебрянский расскажет о кейсах масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.

Целевая аудитория

Архитекторы, разработчики, DevOps-инженеры, которые используют Kafka. Технические руководители, принимающие решение о выборе технологии и масштабе кластеров.

Тезисы

Работаете с высоконагруженными брокерами сообщений? Планируете масштабироваться или уже наступали на грабли при расширении? Этот доклад — для всех, кто хочет увидеть как по-разному масштабируются два мощных брокера сообщений: Apache Kafka и YDB Topics.

В мире, где риалтайм-данные — это кровеносная система организации, масштабируемость становится ключевым фактором при выборе брокера сообщений. На основе практических тестов и реальных метрик мы детально рассмотрим поведение обеих систем в критически важных сценариях:
* горизонтальное масштабирование: что происходит с производительностью при увеличении числа партиций, как это влияет на пропускную способность и латентность;
* отказоустойчивость: как реагируют брокеры на замену диска, насколько быстро восстанавливается полная функциональность;
* расширение кластера: какие подводные камни появляются при добавлении новых брокеров, как минимизировать impact на работающую систему;
* пределы масштабируемости: когда наступает точка невозврата и создание нового кластера становится более эффективным решением?

Закончу доклад сравнением YDB Topics и Apache Kafka и сравнением сценариев, когда использовать один, а когда другой.

Lead Developer в YDB Topics — делают масштабируемый open source-брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас активно развивают Kafka API для YDB Topics и много исследуют, как Kafka ведет себя в том или ином сценарии. Андрей расскажет, какие подводные камни и особенности им удалось раскопать.

Видео

Другие доклады секции

Архитектура