Работаете с высоконагруженными брокерами сообщений? Планируете масштабироваться или уже наступали на грабли при расширении? Этот доклад — для всех, кто хочет увидеть как по-разному масштабируются два мощных брокера сообщений: Apache Kafka и YDB Topics.
В мире, где риалтайм-данные — это кровеносная система организации, масштабируемость становится ключевым фактором при выборе брокера сообщений. На основе практических тестов и реальных метрик мы детально рассмотрим поведение обеих систем в критически важных сценариях:
* горизонтальное масштабирование: что происходит с производительностью при увеличении числа партиций, как это влияет на пропускную способность и латентность;
* отказоустойчивость: как реагируют брокеры на замену диска, насколько быстро восстанавливается полная функциональность;
* расширение кластера: какие подводные камни появляются при добавлении новых брокеров, как минимизировать impact на работающую систему;
* пределы масштабируемости: когда наступает точка невозврата и создание нового кластера становится более эффективным решением?
Закончу доклад сравнением YDB Topics и Apache Kafka и сравнением сценариев, когда использовать один, а когда другой.