Машины состояний для товарных данных из YDB и очередей

Архитектура

API
Оптимизация производительности
Распределенные системы
Архитектура данных, потоки данных, версионирование
Критерии выбора технологий для проекта
GO
Микросервисы
YDB

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

Целевая аудитория

Доклад будет полезен для разработчиков и архитекторов ПО, IT-менеджеров. Тех, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных.

Тезисы

В этом докладе я расскажу о том, как мы перепроектировали систему управления товарными данными и почему результаты эволюционного развития наших сервисов перестали нас устраивать. В условиях, когда у нас более миллиарда товаров, рост объемов данных превратил горизонтальное масштабирование в настоящую проблему. Я расскажу, какие архитектурные решения могут устранить эти трудности и чем сможет помочь централизованное хранилище, в частности, какие задачи оно должно решать, а каких точно избегать. Также расскажу о взаимодействии сервисов в новой архитектуре, выборе СУБД и сложностях, с которыми мы столкнулись при реализации. Отдельное внимание уделю процессу миграции: как перейти на новую схему без сбоев в работе. Наконец, расскажу, что у нас получилось в итоге.

В разработке уже почти 30 лет. Последние 7 лет развивает еком в Яндексе. Сейчас руководит службой партнерского продукта в ретейле Яндекс Еды. Делают продукт для магазинов, которые продают свои товары в Яндекс Еде.

Яндекс Еда

Яндекс Еда — сервис, который решает любые вопросы пользователей, связанные с едой: от заказа продуктов из супермаркетов до доставки блюд из ресторанов. Своим партнёрам мы помогаем развивать бизнес, а курьерам — зарабатывать. Каждый месяц Яндекс Едой пользуется 15 млн пользователей в более чем 400 городах. И мы продолжаем расти — за последний год число заказов в Яндекс Еде выросло на 40%, а новых пользователей — на 42%. Такие темпы позволяют нам придумывать всё больше новых технологий для оптимизации и роста эффективности, а также дают возможность проводить быстрые и интересные эксперименты.

Видео

Другие доклады секции

Архитектура