Как построить Kafka as a Service в Kubernetes, чтобы пользователи работали с ним, а не избегали его?

Мы в App.Farm - PaaS-платформе, прошли тернистый путь от общей шины на базе Kafka до реализации услуги по предоставлению индивидуальных Kafka-кластеров под бизнес задачи. В этом докладе расскажем честную историю наших ошибок, архитектурных развилок и решений, к которым мы пришли.

Поделимся:
- как выглядела наша первая архитектура Kafka, и почему мы отказались от неё;
- каким образом трансформировали архитектурное решение, чтобы минимизировать затраты на сопровождение;
- как через декларативный подход автоматизировали развёртывание кластеров Kafka в Kubernetes;
- как мы упростили пользователям авторизацию на Kafka, спойлер: сделали middleware с влезанием в протокол обмена;
- как настроили тарификацию под запросы пользователей PaaS-платформы.

Сделаем сравнительный анализ различных архитектур Kafka as a Service и подведем итог, чтобы вы могли определить свой путь.