Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Делаем потоковые машины состояний для обогащения и подготовки товарных данных

Архитектура

API
Оптимизация производительности
Распределенные системы
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта
GO
Микросервисы
YDB

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Доклад будет полезен для разработчиков и архитекторов ПО, IT-менеджеров. Тех кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных.

Тезисы

В этом докладе я расскажу о том как мы строили систему обработки данных о товарах так чтобы ее было легко дополнять новыми процессамии и масштабировать.
Перед тем как начать проектровать новую систему мы провели анализ всех наших процессов построенных вокруг товарных данных. Товаров у нас больше 100M и обрабатывать их нужно несколько раз в день. Как оказалось оновное, что происходит с данными это путешествие записи по состояниям. За переход между состояниями обычно отвечает отдельный сервис. Я расскажу как мы построили и перешли на систему построенную на этих принципах. Почему в качестве СУБД мы выбрали YDB. И как мы уменьшили потоки данных в несколько раз.

Решение оказалось вполне универсальным и подошло и для других задач обработки и обогащения данных в Яндекс Еде.

Закончил ВМиК МГУ.
Начал работать программистом в прошлом тысячелетии.
Делал графические редакторы, рукописный email, Evernote для Palm, CRM-ки, портал для связи врачей, лабораторий и пацентов.
Последние 7 лет работаю в ecom проектах в Яндекс. Маркет, Лавка сейчас руководитель службы партнерского продукта в Ритейле Яндекс Еды. Отвечаю за данные о магазинах и товарах на всех витринах Яндекс Еды.

Яндекс

Ритейл Яндекс Еды. Быстрая доставка товаров из обычных магазинов.

Видео