Единая веб-платформа для инженеров данных: как мы объединили 10+ микросервисов и сократили time-to-market
Спикеры
X5 Tech
Занимается построением платформы данных в X5 Tech. Интересуется не только технологиями, но и искусством - поэтому в его проектах всегда есть место и логике, и вкусу.
Кому полезно
О чём доклад
Работая в крупной ритейл-компании, мы управляем более чем 12 000 потоков данных и хранилищем объёмом 12+ петабайт. Инженеры данных ежедневно работают с набором разрозненных инструментов: среды разработки, GitLab, Airflow, SQL-движки, различные сервисы хранения и трансформации.
Такой «зоопарк» увеличивает time-to-market, усложняет онбординг и создает зависимость от контекста конкретных людей и команд.
Мы решили объединить ключевые процессы разработки потоков данных в единую веб-платформу: одно входное окно для создания, редактирования и оркестрации пайплайнов, интегрированное с Airflow и GitLab через API.
В докладе расскажем: - как родилась идея и как мы её «продавали» внутри, - как проектировали архитектуру из 10+ микросервисов, - как решали задачи сложной интеграции, - почему выбрали low-code подход, - какие ошибки допустили, - и какие результаты получили на текущем этапе.
Это практический кейс о создании внутреннего продукта для data-инженеров: с реальными ограничениями по ресурсам, итерациями, отказами и эволюцией решения.
