Эволюция сбора данных в datalake в инфраструктуре Самоката и других продуктов ecom.tech
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В своём докладе я опишу опыт внедрения распространения данных по паттерну EventStreaming для наполнения DataLake в ecom.tech. А именно:
- Почему мы в целом пошли в эту историю и какие проблемы решали
- Как мы подошли к задаче в первый раз, почему отказались от общепринятого CDC (Postgres WAL / Debezium), какие инструменты были выбраны и почему.
- Где и по какому принципу хранили сначала, храним сейчас и согласуем схемы данных.
- Как организовывали кросс-ДЦ распространение схем и данных.
- Почему далеко не все продуктовые команды в восторге от внедрения похода и как мы адаптировали подход после сбора критики.
- Почему EventStreaming может быть не лучшим вариантом для вашего продукта, какие есть стратегии мягкого внедрения или замещения в целом.
Техлид сервисами управления логистических объектов в Ecom.tech.
В разработке с начала нулевых. Java => Ruby разработчик. С 2015 года руковожу командами разработки на Ruby, Go и JavaScript|TypeScript.
Люблю и уважаю решительно все языки и технологии в IT. Каждый день надеюсь узнать что-то новое в профессии. Хотел быть лётчиком, но попал в IT ещё когда это не было модным и ни сколько не жалею.
Видео
Другие доклады секции
Архитектура
