Сравнение масштабируемости Kafka и YDB Topics

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Highload без очередей не highload. Профи построения Stream систем: Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая, проведет сравнительный анализ(без прикрас): Kafka и YDB Topics. Узнаем где лучше применять каждый инструмент.

Целевая аудитория

Архитекторы, разработчики, devops-инженеры, которые используют Kafka. Технические руководители, принимающие решение о выборе технологии и масштабе кластеров.

Тезисы

Работаете с высоконагруженными брокерами-сообщений? Планируете масштабироваться или уже наступали на грабли при расширении? Этот доклад — для всех, кто хочет увидеть как по-разному масштабируются два мощных брокера сообщений: Apache Kafka и YDB Topics.

Что вы узнаете:

В мире, где риалтайм данные — это кровеносная система организации, масштабируемость становится ключевым фактором при выборе брокера сообщений. На основе практических тестов и реальных метрик мы детально рассмотрим поведение обеих систем в критически важных сценариях:
• Горизонтальное масштабирование: Что происходит с производительностью при увеличении числа партиций? Как это влияет на пропускную способность и латентность?
• Отказоустойчивость: Как реагируют брокеры на замену диска? Насколько быстро восстанавливается полная функциональность?
• Расширение кластера: Какие подводные камни появляются при добавлении новых брокеров? Как минимизировать impact на работающую систему?
• Пределы масштабируемости: Когда наступает точка невозврата, и создание нового кластера становится более эффективным решением?

Закончу доклад сравнением YDB Topics и Apache Kafka и сравнением сценариев, когда использовать один, а когда другой.

Lead Developer в YDB Topics - мы делаем масштабируемый open source брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас мы активно развиваем Kafka API для YDB Topics и много исследуем, как Kafka ведет себя в том или ином сценарии. Я буду рад рассказать, какие подводные камни и особенности нам удалось раскопать.

Видео

Другие доклады секции

Архитектура