Архитектура рекомендательной системы Дзена: ранжирование в runtime, near-realtime-обработка логов, обновление ML-моделей в продакшне BigData и машинное обучение
Рекомендательная система Дзена строит персональный фид для пользователя. Фид состоит из карточек разных форматов (статьи, видео, посты и др.) и оперативно реагирует на пользовательский фидбэк. В докладе я затрону следующие вопросы:
- как из десятка миллионов документов за несколько сотен миллисекунд отобрать самые релевантные пользователю айтемы;
- как мы построили near-realtime-контур обработки пользовательских событий для подсчета embedding’ов, который суммарно за день обрабатывает больше 10 миллиардов событий;
- как мы считаем фичи для документов и доставляем их в продакшн;
- как мы обновляем ML-модели в продакшне и перестраиваем профили всех документов и всех пользователей.
7 лет работает в Яндексе, успел побывать и ML-разработчиком, и архитектором, и SRE-инженером. Сейчас руководит инфраструктурой и качеством ленты в Яндекс.Дзене.