Тезисы

В своем докладе расскажу об ETL, как об общем классе задач извлечения, подготовки и доставки данных.
Поймем, какую нишу ETL занимает в мире BigData, какие существуют подходы и инструменты для операций над большими данными и какие требования могут к ним предъявляться.

Разберемся с тем, что такое Gobblin, открою нашу историю успеха по его внедрению и применению в отделе машинного обучения Rambler&Co, а также решаемые им задачи.

Постараюсь посвятить вас в архитектуру Gobblin, его основные сущности и понятия, объясню, как это работает на практике, покажу примеры задач и реализации собственной ETL-логики.

Расскажу, как довести решение до продуктового состояния, используя возможности публикации метрик и мониторинга.