Эволюция Kafka as a Service: от факапа до чилаута

Архитектура и масштабируемость

Архитектуры / другое

Автоматизация разработки, доставки, эксплуатации

DevOps / Кубер

DevOps / SRE

Инфраструктура

7 ноября, 13:20, «Зал 6»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

От одной "большой" Kafka до "Kafka as a Service" под бизнес-задачи: ошибки и решения, автоматизация развертывания через GitOps-подход в Kubernetes, упрощение авторизации и не только. Команда РСХБ.Цифра поделится практическими решениями, схемами, рекомендациями и чек-листом.

Целевая аудитория

Инфраструктурные инженеры, сотрудники SRE, Platform-разработчики, DevOps-инженеры

Тезисы

В App.Farm - PaaS-платформе РСХБ.Цифра - мы прошли тернистый путь от одной "большой" Kafka до реализации услуги "Kafka as a Service" c индивидуальными кластерами "под ключ" для решения бизнес-задач. За 3 года в промышленной эксплуатации это решение обслуживают всего 2 инженера. Расскажем честную историю: от ошибок создания первой архитектуры (риски, высокие затраты) до успешной трансформации в "Kafka as a Service" с использованием Kubernetes-операторов и middleware с парсингом протокола.

В докладе поделимся:
- Почему мы отказались от одной "большой" Kafka, и как этим минимизировали затраты на сопровождение
- Как через декларативный GitOps-подход (с примерами кода) автоматизировать развёртывание кластеров Kafka в Kubernetes
- Как упростить авторизацию с помощью middleware, "влезая" в протокол обмена
- Как мы настроили пресеты настроек Kafka под запросы пользователей PaaS-платформы (статистика, отзывы)
- Сравнение архитектур с чек-листом, поделимся топом ошибок в проде и рекомендациями по эволюции для Вашего проекта

Практические решения, которые Вы сможете забрать для себя:
- Автоматизация развертывания через Kubernetes-операторы + Strimzi (покажем код)
- Решение kafka-proxy с парсингом протокола для упрощения авторизации
- Декларативные пресеты настроек железа под потребности бизнеса
- Автоматизация обновлений Kafka без простоев

Идеально для инфраструктурных инженеров, сотрудников SRE, Platform-разработчиков, DevOps-инженеров и архитекторов, работающих с highload-интеграциями.

Анастасия Цепелева

РСХБ.цифра

SRE-инженер с опытом работы 4 года. Начинала карьеру как младший системный администратор Unix и прошла путь до ведущего инженера SRE по части интеграци. Имею 2 года опыта работы в международной компании, где занималась сопровождением инфраструктуры. Сейчас фокусируюсь на построении отказоустройчивых систем, управлении Kafka, IBM MQ, Artemis и работе с Kubernetes. Люблю делиться практическими кейсами и историями, где за техническими решениями стоит реальный опыт.