Код отдельно от образа: как мы сократили итерацию в Airflow в 3 раза.

Platform Engineering

Архитектурные паттерны

Рефакторинг

Время разработки и поставки задач

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

MLOps и Platform engineers, DS, ML, которые работают с Airflow

Тезисы

Обычно код приложения лежит внутри Docker-образа, и любая правка требует его пересборки. Долгое ожидание пайплайна сборки на каждую правку, большое количество MR-ов в разные репозитории - это больно. Мы разделили образ и код для среды разработки, доставляя код отдельно в рантайме. Покажу на примерах как это выглядит для пользователя, какой прирост в скорости итерации, какие шаблоны CI/CD мы подготовили и как обеспечили сохранность prod контура.

Артур Хисматуллин

X5 Tech

Инженер ML-платформы в X5 Tech. Разививает внутреннюю MLOps-платформу компании: K8s-инфрастуктуру для DS-команд, JupyterHub, Airflow, Spark и другие инструменты. Увеличил скорость доставки изменений в Airflow путем рефакторинга сложившегося процесса. Вне работы люблю бег, бокс и поиграть в доту