Saint HighLoad++ 2025 - Профессиональная конференция разработчиков высоконагруженных систем

Сравнение масштабируемости Kafka и YDB Topics

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Highload без очередей не highload. Профи построения Stream систем: Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая, проведет сравнительный анализ(без прикрас): Kafka и YDB Topics. Узнаем где лучше применять каждый инструмент.

Целевая аудитория

Архитекторы, разработчики, devops-инженеры, которые используют Kafka. Технические руководители, принимающие решение о выборе технологии и масштабе кластеров.

Тезисы

В докладе разберем как масштабируются разные брокеры сообщений и ответим на следующие вопросы:
- Что будет если просто добавить партиций?
- Как себя поведет брокер при замене диска?
- Что случиться, если добавить новый брокер в кластер?
- Когда уже нет смысла масштабировать существующий кластер и проще создать новый рядом?
Все это я сопровожу примерами масштабирования Apache Kafka и YDB Topics с замерами того, насколько при расширении кластера упала скорость работы.
Закончу доклад сравнением YDB Topics и Apache Kafka и сравнением сценариев, когда использовать один, а когда другой.

Андрей Серебрянский

YDB

Lead Developer в YDB Topics - мы делаем масштабируемый open source брокер сообщений, на котором работает Яндекс и Yandex Cloud.
Сейчас мы активно развиваем Kafka API для YDB Topics и много исследуем, как Kafka ведет себя в том или ином сценарии. Я буду рад рассказать, какие подводные камни и особенности нам удалось раскопать.

Видео

Другие доклады секции

Архитектура

Автоматическая суммаризация 10K встреч в день: от требований к продакшн-решению

Азер Шахвердиев

Контур

Глубокое погружение в архитектуру Kafka: от простых сценариев до гео-кластера

Андрей Комягин

STM Labs

Костыль, велосипед или best practice: и дай нам силы отличить одно от другого

Наталья Макарова

CDEK

Как разработать Видеоаналитику для онлайн-потока с 2000+ камер, не имея ресурсов IT-гигантов

Даниил Блинов

СИБУР Цифровой

Шардирование БД на уровне балансировщика

Николай Прокофьев

Т-Банк

OVN: интегрируем готовый SDN в платформу виртуализации

Дмитрий Скорых

Orion soft

Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen и Llama

Андрей Носов

Raft

Как выбрать технологии для высоконагруженного проекта и не привлечь внимание санитаров

Дмитрий Кривопальцев

Яндекс 360

Как мы балансируем нагрузку внутри Яндекс Мессенджера

Никита Звонарев

Яндекс 360

Глобальная балансировка веб-ресурсов по геораспределенной инфраструктуре

Дмитрий Криков

NGENIX

Прикладной консенсус. Какая Станция должна ответить?

Павел Корозевцев

Яндекс Алиса и Умные устройства

Архитектура факторов ранжирования в runtime поиска Ozon

Лев Саськов

Ozon

Как правильно готовить RabbitMQ - 8 практических кейсов

Виктор Михайлов

Garage Eight

Мастер-класс «Распилим монолит»

Алексей Лосев

Яндекс Маркет

А давайте построим систему индексации данных: с чего начать, на какие грабли наступить и к чему прийти, чтобы она заработала

Александр Пархоменко

2ГИС

Переезд в облако рекламного движка с baremetal под высокой нагрузкой

Артем Букин

VK, VK Реклама

Сетевой консенсус Ethereum 2.0, миллион мастер реплик без шуток

Сергей Прилуцкий

MixBytes

История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней

Андрей Борунов

Яндекс

От клика до публикации: архитектура платформы размещения объявлений Авито

Евгений Толмачев

Авито

Семь кругов финтеха: драма в двух эпизодах

Моногарова Маргарита

Altenar

Оптимизация стоимости владения K8S кластерами в AWS и YC или как сэкономить 100500 на кубиках за год

Андрей Ивахненко

Антиплагиат

От 1 тыс. до 180 тыс. IoT-устройств: как мы масштабировали архитектуру и пережили кризис роста

Руслан Ягафаров

МТС Юрент

Как из готовых инструментов сделать систему на петабайт данных

Павел Лукьянов

AGIMA