Александр Сидоров на HighLoad++ 2024

Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы

Архитектура

Python

Поисковые системы

Бэкенд / другое

Рекомендации / ML

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

Целевая аудитория

Разработчики бэкенда, DevOps, MLOps, DS.

Тезисы

Все презентации конференции

В последнюю чёрную пятницу у нас в Wildberries было около миллиона RPS в поиске и рекомендациях товаров. И эти запросы обслуживает меньше тысячи серверов.

Расскажу, как у нас это получается, что мы делаем, чтобы не только выдерживать нагрузку на поиск и рекомендации без деградации их качества, но и глубоко персонализировать выдачи, применять мультимодальные эмбеддинги для понимания свойств товаров и поведения пользователей, а также быстро проводить множество экспериментов для улучшения систем.

Александр Сидоров

Wildberries

2023 – настоящее время, Wildberries, Head of DS, в том числе помогает перевести поиск сразу на мультимодальные трансформеры.
2017 – 2023, hh.ru, руководитель поисков, рекомендаций и DS, поиски, рекомендации, реклама на ML от TF/IDF до своих BERT DSSM и BST просмотров вакансий -> приглашения 3x, резюме 2x.
2011 – 2017, Яндекс, технический менеджер проектов антифрод, геобаза, пользовательские признаки, Search as a service, переделка веб-робота на YT, поисковая база 2 нед. -> 1 день, поведение 5 нед. -> 26 часов.

41 год, женат, двое детей, увлекается научной фантастикой, музыкой и прогулками по городу.

Wildberries

Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 10 млн товаров, а сеть пунктов выдачи заказов превышает 38 000 точек.