Эволюция работы с CDC / transactional outbox. Как мы организовали единый ламинарный поток данных в DataLake на базе PostgreSQL и Kafka из разных стеков в разные ДЦ с разными командами инфраструктуры в ecom.tech.
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В своём докладе я опишу опыт реализации паттерна Outbox для наполнения DataLake в ecom.tech. А именно:
- Как мы подошли к проблеме в первый раз и почему отказались от общепринятого CDC (Postgres WAL / Debezium), какие инструменты были выбраны и почему.
- Где и по какому принципу хранили и согласовывали схемы данных.
- Как организовывали кросс-ДЦ распространение данных.
- Почему далеко не все команды в восторге от внедрения похода и какие могут быть варианты мягкого внедрения или замещения в целом.
Техлид сервисами управления логистических объектов в Ecom.tech.
В разработке с начала нулевых. Java => Ruby разработчик. С 2015 года руковожу командами разработки на Ruby, Go и JavaScript|TypeScript.
Люблю и уважаю решительно все языки и технологии в IT. Каждый день надеюсь узнать что-то новое в профессии. Хотел быть лётчиком, но попал в IT ещё когда это не было модным и ни сколько не жалею.
Видео
Другие доклады секции
Архитектура
