Надежность поставки данных при потоковой обработке на примере хранилища товарных предложений Яндекс Маркета

Архитектуры и масштабируемость

Микросервисы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Яндекс.Маркет выбрал очень технологичное решение для хранения и распространения базы товаров. Группировка столбцов и селективная репликация позволили быстро и эффективно прокачивать огромные объемы изменений, но столкнулись с неидеальностью мира на стыке команд и систем.

Целевая аудитория

Архитекторы и разработчики больших е-com-проектов.

Тезисы

Хранилище товарных предложений Яндекс Маркета содержит миллиарды записей и обрабатывает сотни мегабайт в секунду. Получая данные от партнеров, сервисы хранилища запускают цепочки обновлений по десяткам бэкендов Маркета.

В докладе будет рассказано об архитектуре сервиса на базе key-value-хранилища на динамических таблицах YTsaurus. Широкая продуктовая функциональность вызывает нагрузку разного типа, поэтому рассмотрим вопросы сочетания рантайма и очередей, а также проблемы поиска при большом потоке обновлений. Так как поставка данных о товарах требует разных соглашений по скорости, поговорим о необходимости приоритетной обработки и резервирования. Отдельное внимание обратим на компромиссы ради скорости разработки.

Рассказ о нашем пути развития и технических решениях позволит обратить внимание на возникающие задачи при проектировании подобных сервисов.

Евгений Равнушкин

Яндекс Маркет

Архитектор и тимлид проектов по созданию хранилища товарных предложений Яндекс Маркета. До этого занимался расширением функционала промоакций и скидок. В общей сложности 7 лет опыта в разработке высоконагруженных сервисов для продуктовых проектов.

Яндекс Маркет

Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.

Видео

Другие доклады секции

Архитектуры и масштабируемость