Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы Архитектура
2023 – настоящее время, Wildberries, Head of DS, в том числе помогает перевести поиск сразу на мультимодальные трансформеры.
2017 – 2023, hh.ru, руководитель поисков, рекомендаций и DS, поиски, рекомендации, реклама на ML от TF/IDF до своих BERT DSSM и BST просмотров вакансий -> приглашения 3x, резюме 2x.
2011 – 2017, Яндекс, технический менеджер проектов антифрод, геобаза, пользовательские признаки, Search as a service, переделка веб-робота на YT, поисковая база 2 нед. -> 1 день, поведение 5 нед. -> 26 часов.
41 год, женат, двое детей, увлекается научной фантастикой, музыкой и прогулками по городу.
Тезисы
В последнюю чёрную пятницу у нас в Wildberries было около миллиона RPS в поиске и рекомендациях товаров. И эти запросы обслуживает меньше тысячи серверов.
Расскажу, как у нас это получается, что мы делаем, чтобы не только выдерживать нагрузку на поиск и рекомендации без деградации их качества, но и глубоко персонализировать выдачи, применять мультимодальные эмбеддинги для понимания свойств товаров и поведения пользователей, а также быстро проводить множество экспериментов для улучшения систем.
