Сравнение масштабируемости Kafka и YDB Topics

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Highload без очередей не highload. Профи построения Stream систем: Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая, проведет сравнительный анализ(без прикрас): Kafka и YDB Topics. Узнаем где лучше применять каждый инструмент.

Целевая аудитория

Архитекторы, разработчики, devops-инженеры, которые используют Kafka. Технические руководители, принимающие решение о выборе технологии и масштабе кластеров.

Тезисы

В докладе мы разберем, что делать если запись или чтение в ваш топик стали слишком медленными. Можно ли добавить партиции и какие тут есть подводные камни? Если партиций у нас много, но обработка все равно тормозит, то где искать узкие горлышки и как с ними быть? Наконец, как добавлять новые брокеры и насколько замедлятся запись и чтение сообщений в момент добавления? Ну и главное, в какой момент перестанет хватать одного кластера? Сколько партиций/пользователей/консьюмеров надо создать, чтобы их стало слишком много и все стало работать медленно? 
На все эти вопросы я постараюсь ответить в своем докладе, рассказав вам историю масштабирования одного кластера.

Lead Developer в YDB Topics - мы делаем масштабируемый open source брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас мы активно развиваем Kafka API для YDB Topics и много исследуем, как Kafka ведет себя в том или ином сценарии. Я буду рад рассказать, какие подводные камни и особенности нам удалось раскопать.

YDB

YDB — это распределённая отказоустойчивая Distributed SQL база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.

Видео

Другие доклады секции

Архитектура