В App.Farm - PaaS-платформе РСХБ.Цифра - мы прошли тернистый путь от одной "большой" Kafka до реализации услуги "Kafka as a Service" c индивидуальными кластерами "под ключ" для решения бизнес-задач. За 3 года в промышленной эксплуатации это решение обслуживают всего 2 инженера. Расскажем честную историю: от ошибок создания первой архитектуры (риски, высокие затраты) до успешной трансформации в "Kafka as a Service" с использованием Kubernetes-операторов и middleware с парсингом протокола.

В докладе поделимся:
- Почему мы отказались от одной "большой" Kafka, и как этим минимизировали затраты на сопровождение
- Как через декларативный GitOps-подход (с примерами кода) автоматизировать развёртывание кластеров Kafka в Kubernetes
- Как упростить авторизацию с помощью middleware, "влезая" в протокол обмена
- Как мы настроили пресеты настроек Kafka под запросы пользователей PaaS-платформы (статистика, отзывы)
- Сравнение архитектур с чек-листом, поделимся топом ошибок в проде и рекомендациями по эволюции для Вашего проекта

Практические решения, которые Вы сможете забрать для себя:
- Автоматизация развертывания через Kubernetes-операторы + Strimzi (покажем код)
- Решение kafka-proxy с парсингом протокола для упрощения авторизации
- Декларативные пресеты настроек железа под потребности бизнеса
- Автоматизация обновлений Kafka без простоев

Идеально для инфраструктурных инженеров, сотрудников SRE, Platform-разработчиков, DevOps-инженеров и архитекторов, работающих с highload-интеграциями.