Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Архитектура бесконечной персональной ленты Яндекс Маркета

BigData и машинное обучение

Распознавание речи, образов / Прикладное ML / Рекомендательные системы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В индустрии нет консенсуса, как должен выглядеть бэкенд большой рекомендательной системы. Руководитель инфраструктуры рекомендаций Яндекс Маркета расскажет про их решение. В докладе будут рассмотрены эволюция и ускорение бэкенда, а также особенности, которых нет у других рекомендательных систем.

Целевая аудитория

Разработчики рекомендательных систем, highload- и backend-разработчики, ML-инженеры.

Тезисы

В конце прошлого года мы запустили бесконечную персональную ленту на главной странице приложения Яндекс Маркет. Лента — это то, что пользователь видит в первую очередь, поэтому она должна работать быстро и отдавать релевантный контент.

Доклад посвящен нашему пути развития от статичных рекомендательных каруселей к бесконечной ленте.

В докладе я расскажу:
* как мы поменяли архитектуру рекомендаций, чтобы лента работала в 2 раза быстрее;
* об особенностях ранжирования и устройства рекомендательной системы;
* как мы описываем рекомендательные программы на Python для рантайма на C++.

Последние 6 лет занимается разработкой рекомендательных систем.
В настоящий момент руководит командой инфраструктурного развития рекомендаций Яндекс Маркета.

Яндекс Маркет

Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.

Видео