Эволюция Kafka as a Service: от факапа до чилаута

Архитектура и масштабируемость

Архитектуры / другое

Автоматизация разработки, доставки, эксплуатации

DevOps / Кубер

DevOps / SRE

Инфраструктура

7 ноября, 11:10, «Зал C1»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

От одной «большой» Kafka до «Kafka as a Service» под бизнес-задачи: ошибки и решения, автоматизация развертывания через GitOps-подход в Kubernetes, упрощение авторизации и не только. Команда РСХБ.цифры поделится практическими решениями, схемами, рекомендациями и чек-листом.

Целевая аудитория

Инфраструктурные инженеры, сотрудники SRE, Platform-разработчики, DevOps-инженеры.

Тезисы

В App.Farm PaaS-платформе РСХБ.цифра — мы прошли тернистый путь от одной «большой» Kafka до реализации услуги «Kafka as a Service» c индивидуальными кластерами под ключ для решения бизнес-задач. За три года в промышленной эксплуатации это решение обслуживают всего два инженера. Расскажем честную историю: от ошибок создания первой архитектуры (риски, высокие затраты) до успешной трансформации в «Kafka as a Service» с использованием Kubernetes-операторов и middleware с парсингом протокола.

В докладе поделимся:
* Почему мы отказались от одной «большой» Kafka и как этим минимизировали затраты на сопровождение.
* Как через декларативный GitOps-подход (с примерами кода) автоматизировать развёртывание кластеров Kafka в Kubernetes.
* Как упростить авторизацию с помощью middleware, «влезая» в протокол обмена.
* Как мы настроили пресеты настроек Kafka под запросы пользователей PaaS-платформы (статистика, отзывы).
* Сравнение архитектур с чек-листом, поделимся топом ошибок в проде и рекомендациями по эволюции для вашего проекта.

Практические решения, которые вы сможете забрать для себя:
* Автоматизация развертывания через Kubernetes-операторы + Strimzi (покажем код).
* Решение kafka-proxy с парсингом протокола для упрощения авторизации.
* Декларативные пресеты настроек железа под потребности бизнеса.
* Автоматизация обновлений Kafka без простоев.

Идеально для инфраструктурных инженеров, сотрудников SRE, Platform-разработчиков, DevOps-инженеров и архитекторов, работающих с highload-интеграциями.

Анастасия Цепелева

РСХБ.цифра

SRE-инженер с опытом работы четыре года. Начинала карьеру как младший системный администратор Unix и прошла путь до ведущего инженера SRE по части интеграци. Имеет два года опыта работы в международной компании, где занималась сопровождением инфраструктуры. Сейчас фокусируется на построении отказоустройчивых систем, управлении Kafka, IBM MQ, Artemis и работе с Kubernetes. Любит делиться практическими кейсами и историями, где за техническими решениями стоит реальный опыт.