Антон Стеблянко на Saint HighLoad++ 2024

Реновация ETL. Как мы подменяли монолит обслуживающий 6000+ потоков данных

BigData и машинное обучение

Распределенные системы

Рефакторинг

ETL

Хранилища

Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Последние пару лет в IT для многих проходят под знаком "импортозамещение". Не остаются в стороне и ETL-процессы - важная деталь в деятельности любой организации. Из доклада вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на "новые рельсы".

Целевая аудитория

Разработчики и архитекторы Корпоративных Хранилищ Данных

Тезисы

Опыт замены Оркестратора и ELT-инструмента на высоконагруженном DWH.
Вводные на старте проекта:
- Хранилище эксплуатируют 10+ доменных команд разработки.
- Ежедневно выполняется 6000+ регламентных расчетов.
- Хранилище играет ключевую роль в процессах работы компании.
- Сохранение текущих строгих SLA подготовки данных.
- Продолжение развития хранилища в период миграции.
Расскажем какой путь прошли во время миграции с вендорного SAS DI на OpenSource экосистему из Airflow + dbt

Антон Стеблянко

x5 Tech

Эксперт в построении Аналитических Хранилищ Данных

x5 Tech

IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.