Концентрируемся на бизнес-модели данных: от ETL к ELT Архитектуры, масштабируемость
Несколько лет назад мы (компания Scentbird), пережив серьезный рост, решили строить свою систему аналитики для обеспечения необходимой гибкости. Мы постоянно совершенствуемся в этом направлении, и одним из самых значимых изменений в нашей архитектуре за последнее время стал переход от ETL к ELT-концепции посредством инструмента DBT. Это позволило сосредоточиться на бизнес-смысле обрабатываемых данных и формировать модели с помощью SQL, а также упростить технические особенности процесса трансформации данных.
В отведенные 45 минут обсудим:
- отличия концепции ETL и ELT;
- базовые концепции инструмента для преобразования данных DBT;
- как мы используем DBT для построения сложных моделей, а также осуществляем тестирование данных;
- как масштабируется такое решение.
Занимается backend-разработкой последние 11 лет. Основной профессиональный опыт получил в корпоративной среде, где занимался разработкой банковских систем для работы с ценными бумагами на крупнейших мировых биржах. Последние 4 года занимается аналитикой в небольшом стартапе.