Feature store: как мы совместили высокую производительность и безграничные потребности data scientist’ов

Поиск — одна из самых высоконагруженных и одновременно прибыльных систем в Озоне. Какие товары показать пользователю, чтобы он вероятнее что-то купил? Эту задачу решает команда ранжирования поиска, а мы создаем для них и их экспериментов инфраструктуру. ML-модели ранжирования становятся сложнее, товаров на маркетплейсе становится больше, а поиск должен работать так же быстро.

В данном докладе я расскажу: * какой путь проходит товар, чтобы оказаться в выдаче поиска, * зачем нам понадобилось создавать целую систему хранения ML-фич с нуля, * какие хаки мы применили для уменьшения latency всего поиска, * что мы сделали, чтобы справляться с миллионами запросов в секунду на терабайтные базы данных, * как data scientist’ы получили возможность ставить A/B-эксперименты не только с разными моделями, но и с по-разному посчитанными фичами, * как мы минимизировали временные затраты разработчиков на добавление новых видов фич.