Data Engineering под капотом персонализации: как мы построили решение для 70М пользователей

Data Engineering

PostgreSQL

Базы данных / другое

Архитектура данных, потоки данных, версионирование

Продуктовая разработка

Hadoop

Обработка данных

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Data Engineers и backend-разработчики, работающие с большими данными и высоконагруженными системами. Доклад будет интересен специалистам, погружённым в построение масштабируемых data-платформ. А так же для всех, кому интересно, как устроена система персонализации в крупнейшем ритейлере страны

Тезисы

Расскажу о том, как в X5 была построена масштабируемая система персонализации для более чем 70 миллионов покупателей. Речь пойдёт о data engineering архитектуре, лежащей в основе системы: от сборки витрины признаков до интеграции с внешними сервисами, A/B-тестами и анализом эффективности. Подробно разберу, как мы связали Spark, Redis, PostgreSQL и аналитическую БД в единую экосистему, обеспечив гибкость, отказоустойчивость и высокую производительность.

Илья Панов

X5 Tech

Data Engineer с более чем 10-летним опытом разработки и развития data-платформ в телекоме и ритейле. Работал с большими объёмами данных в государственных структурах и коммерческих компаниях, участвовал в создании высоконагруженных аналитических и продуктовых систем