Доклад

Последний шаг к real-time процессингу данных для RecSys. Real-time обновления HNSW.

Подробнее о докладе

Дата 30 ноября, 15:50
Зал Зал «Сан-Паулу»
Формат Доклад, 50 минут
Уровень Средняя сложность

Спикеры

Отзыв программного комитета

Как обновлять HNSW-индексы на миллионы документов быстрее и с меньшими затратами CPU? На примере Яндекс Рекламы автор разберёт модифицированное обновление индекса с сохранением качества поиска и объяснит, при каких условиях этот подход полезен рекомендательным системам.

Кому полезно

Разработчики крупных рекомендательных систем: рекламных систем, рекомендаций маркетплейсов, рекомендаций видеосервисов.

О чём доклад

Последние несколько лет мы в Яндекс Рекламе активно мигрировали с MapReduce технологий на real-time. Последним, что отделяло нас от полностью real-time обновления индексов, оставалось full-state обновление индексов HNSW, которые позволяют Яндекс Рекламе находить самые релевантные для пользователей объявления среди миллиарда объектов. В докладе расскажу как мы с помощью нового алгоритма обновления индекса HNSW смогли перейти на полностью real-time процессинг данных.

Видео